樂園建成后，其東面為正誼書院，西面是沈氏宗祠和宅院，三部分實為一體。沈德潛曾讀書于此。有人曾誤以為是“行樂”之樂，乾隆間大吏說是“行樂不可訓(xùn)也”。道光七年（1827年），布政使、江蘇巡撫梁章鉅重加修葺，劃歸正誼書院，成為書院園林，易名為“可園”。