1499年，唐伯虎赴京赶考，但此次却科场致祸落魄而归，其妻何氏与唐伯虎离异，嫁给一位显官作了续弦夫人。

沈九娘原是明朝弘治年间苏州名妓，她给了唐伯虎安慰和鼓励，使他潜心书画，终有大成。1505年在祝枝山的安排下，由即将离任的苏州知府王鏊主持了唐伯虎与沈九娘的婚礼。

唐伯虎娶沈九娘后移居桃花庵。唐伯虎曾写《桃花庵歌》遂使苏州的桃花坞这一地名不胫而走。唐伯虎晚年和沈九娘住在这里时，用卖画得来的钱建了些亭阁，栽种了一片桃树。