县志记载，康熙和乾隆都七次到寄畅园，中间的雍正皇帝也曾莅园，且对寄畅园的兴废具有深刻影响。

    雍正只到过大江南北一次，那是1703年扈从康熙第四次南巡之时。康熙十分欣赏寄畅园的掇石理水，把十几亩大的园布置得意境深远，曲折宜人。对园主秦家的谨敬接驾也颇有好感，第四次南巡时赏还因科场案受累回籍的秦松龄原品，又把他儿子道然带回北京，作为九皇子允唐的的侍读。雍正的审美观与乃父不同，喜欢壮丽阔大的苑囿，对秀丽小巧的寄畅园并不在意，只把看到的事态记在心里。

    秦道然举人出身，他以为到九贝子府做侍读是皇恩浩荡，后来允唐又让他兼任管领，但只一些往来文牍。六年后道然考中进士，任礼科给事中之职，同寅问起往事，他随口说九贝子待人宽宏大量，慈祥恺悌。言者无心，听者有意，传到雍正耳中，种下祸根。

    康熙去世，雍正上台，未办完丧事，就以“仗势作，家资饶裕“为由抓了道然，下令拆家，结果只抄到银子千余两，也没有发现什么悖逆和协助允唐争位的证据。但”王言如丝，其他同如纶“，仍责令追银十万两，房舍田产连同寄畅园统统抄没入官。此时道然的儿子蕙田年方弱冠，租了一间小屋，日夜苦读。十年后，乾隆元年殿试得一甲第三名，俗称探花，第二年，蕙田适时地上了一份《陈情表》，恳请以身代父赎罪。

    大凡换代之际，新皇帝总有点“新政策”，对道然的处理，乾隆知道是错案，再看在新科探花份上，也给个面子，上谕宽释，豁免追银、发还家产。尘封十三年的的寄畅园，此时蒿草丛生，亭台倾圯，但终于还给了秦家。

    乾隆十一年（1746）道然九旬大庆，蕙田回家拜寿，在宴请时，对秦家十八房代表建议，把寄畅园改作双孝祠，供奉明代诏旌的孝子秦永孚、秦仲孚兄弟，配汜秦耀一支的几代祖先。此建议得到一致赞同，蕙田执笔写了《寄畅园祖祠公议》，各房代表画押。从此，名园避免了分割、转让、没官和失修等因素的破坏，得以保存到现在。