Marie Gouze est née dans une famille ordinaire à Montauban, son père était boucher et sa mère servante. Des rumeurs publiques suggèrent qu'elle est la fille biologique du poète marquis de Pompignan, et qu'elle sera même la "fille légitime" du roi Louis XV.
