嘉兴素称鱼米之乡，“土膏沃饶，农产耕织，风俗淳秀”。经济的盛衰，完全在于农业的丰歉。自道光三年(1822)以来，嘉兴接连遭受了好几年水灾。王寿在《古禾杂识》中说：“自道光三年后多水患，而完粮之累日重，由是有田之家渐皆卖田，无田之家不敢买田，而田价逐年趋贱，或四五折，或二三折，甚至不值一钱，任其荒芜，无人管领。”农民苦于租米，地主困于官赋；农民无力购买，地主无钱挥霍，造成了市景萧条，手工业和商业也面临破产。烟雨楼处在这样的经济形势下，游人日益稀少，逐渐荒凉。况且自乾隆弘历第六次南巡后，近四十年里，没有皇帝南巡的消息，官吏们对烟雨楼的维修也不加重视，任其坍损。道光九年(1829)，潘希甫在《鸳湖日记》中说：“烟雨楼惜残廊断槛，日就倾废矣。”道光十年(1830)夏天，朱锦琼《中元游烟雨楼记》，描写了烟雨楼的荒芜，南湖中的凄凉情景。记云：“道光十年夏，余借居嘉兴之濠股街。门临南湖，烟雨楼日在望中。邑外鲜山林之胜，游人宴赏，皆集于此。以楼下多莲塘也，故夏日观莲节，则比之苏州荷花荡。以楼高先得月也，故中秋夜宴，则比之武昌庾公楼。顾其妙在雕窗统阁，四面临湖。湖之周围百二十顷，水气成烟，虽晴若雨，与楼中树荫遥合。人倚高楼，恍置身于空蒙翠色间，则斯楼所独也。中元节，有友买画舫，设盛筵，纡胜引并及于余。时微雨乍兴，联袂登楼，苍藓满地，桂花齐落。磊石为山，仿迂倪皴法，今则石级凌乱，失其本来。若亭、若轩、若廊、则金碧昏暗，栾极欹斜，惟树木愈苍古可爱耳。客有感且惜者，余曰：不独此也。以余所见，保定之赵北口、杨州之平山堂、杭州之西湖，凡有行宫，半皆倾圯，岂皆无经费作岁修故也。返而登舟，觞豆已陈。邻舟则弦管迭奏，歌喉是竞。然浮云深处，吹之不开。酒半雨又作，天尚未黑，听彼低唱，消此浅斟。待至一更竟无月，余为解嘲曰：今夜来游，于时殊不合宜，于楼则仍本色也。故棹而归，回望南湖，但见疏灯倏向，如秋萤之出没于烟雨云。”
道光十四年(1834)潘希甫再次游览烟雨楼，他在《鸳湖日记》里说：“烟雨楼垣宇颓败更甚，旧游如昨，向之烟波画船，已仅存其迹矣。”
于源《灯窗琐话》云：“近日烟雨楼久不修葺，废馆颓垣，荒芜弥甚。莺湖唐寿萼诗云：‘钓鳌矶塌没草苔，面面人家镜槛开。一晌御碑亭下立，野花红出短墙来。’”
道光二十五年(1845)嘉兴知府徐敬，见烟雨楼即将倾圯，进行了修理。徐敬字信轩，江西临川人。道光二十三年(1843)至二十七年(1847)任嘉兴知府。蔡嘉在《登烟雨楼》诗中对当时的烟雨楼作了较详的描述。
蔡诗大略谓：烟雨楼坍塌已久，游客很稀少，湖上连水鸟都很少看到。残楼旧阁中，当年乾隆的御笔墨宝和米芾的书画真迹倒还在，只是放置在这里和四周景物的萧条相比较，太令人伤感了。
同年秋天，平湖诗人黄金台来南湖游览，作了一篇《南湖访秋记》，谈到正在整修的烟雨楼和南湖四周的景物。大约秋天的景色本宜于“萧瑟”的，因此从黄文中我们除了明确得知徐敬的修建烟雨楼是在这年的秋季外，至于景物的消息，“寥比人长，荷如女老，疏疏残柳，千枝蝶黄，瑟瑟枯萍，一个鹭白。”倒是一种颇能引入游赏的野趣。
嘉兴知府徐敬这次修建烟雨楼的工程看来不大，也许是窘于财力吧，草草粉饰了一番而已。因此仅时隔八年，即咸丰三年(1853)，薛时雨来任嘉兴知县时，烟雨楼又已破败不堪。
薛氏有一首游雨楼时作的《翠楼吟》词，对于“颓垣废础”流露出一种无奈的心情：“一官资坐镇，争名胜荒凉如许。”至少是在责备前任地方官吏争名夺利，却不负责任地坐视烟雨楼日益颓败。继薛时雨之后，咸丰五年(1855)，诗人张文虎也有诗作描述废楼的景况。张氏在《南湖登烟雨楼》诗中写道：“败柳摇秋楼半圯，更无烟雨但斜阳。”恐怕不只是“伤怀凭吊”，更含有一点怨愤的意思了。过了四年，咸丰九年(1859)另一位诗人黄富民来到烟雨楼，在他的《咸丰九年冬登烟雨楼》诗中，干脆唱出了一曲烟雨楼的挽歌：
楼上酸风响败葭，亭中不见酒人哗。
一楼弃置荒烟里，强约道人来煮茶。
诗人口渴了，想找一个喝茶的地方都没有，只好强行拖住一位看守废楼的道士来替他煮茶，藉以驱散一下“酸风败葭”袭来的寒气。
从这些咸丰三年(1853)后关于烟雨楼的点滴记载看来，烟雨楼如果不在太平天国战役中被拆毁，恐怕也将自行倒毁了。
