本就不孕，直到六十二岁时，又纳了第五位才十九岁的叫钟姬的官妓，次年才生下一子，取名“袁迟”，袁枚为此写诗道：“六十生儿太觉迟，即将迟字唤吾儿。”为了得到子嗣，袁枚连娶五位妙龄女子，其间还常常以“无子为名又买春”，为此曾受到上司的责问，但他并未收敛，总是振振有词地为自己狡辩。