杨秀清和石达开指挥太平军撤出长沙，向岳州进发。
石达开率前锋八千人，由宁乡进入益阳，被资江所阻。
“搭建浮桥，从上游渡江。”派人侦查后，石达开下令从资江上游的桃花渡过江。
满清绿营督军向荣得到情报，大喜，觉得自己一雪前耻的机会到来了。他带五千人追击石达开部，结果还没到桃花渡，又中了石达开部的埋伏，损失上千人，总兵纪冠军都被杀了。
“长毛狡猾！”向荣惊慌失措，只好带人败退宁家铺休整。
这时，湖南进入了梅雨季节，连日下雨，导致资江水暴涨。
渡江的机会来了，杨秀清下令全军集中一切船只，将所有粮草辎重装在船上，浮江而下进入湘江。
翼王石达开率八千人马，由陆路护船前进，向荣不敢追击。
湖南巡抚骆秉章只想守住长沙，不派援军，向荣只好眼睁睁看着太平军远去。
在进攻岳阳之前，杨秀清派了拜上帝会的骨干杜子婴带人悄悄混入岳州城，承诺封官给钱，策反渔民头子晏仲武。
晏仲武是当地渔民中的带头人，为人有心计，也有胆量。一年前，广西拜上帝会的重要成员杜子婴和晏仲武相识。杜子婴进城后，许诺封晏仲武为岳州军帅，让他在岳州积极发展教众，许多底层的渔民参加了拜上帝会，很快在当地形成了一股不小的势力。
在太平军撤离长沙，挺进岳州府时，湖南巡抚骆秉章根据李翰章的建议，告知了湖北巡抚常大淳，说太平军很可能从水路北下武汉，攻打武昌。
湖北巡抚常太淳很害怕太平军攻打湖北，赶紧派提督博勒恭武率军挺进岳州，抵挡太平军，还下令吴南屏之弟、巴陵绅士吴士迈强募渔民二千人组建水营驻防土星港。
不过，此时的渔民，不少已经被杜子婴发展进入了拜上帝会，这二千渔民中，竟然就有晏仲武手下三百多人。
当杨秀清指挥太平军的战船驶进土星港，晏仲武手下的三百兄弟立即反水，放火烧船。
当时，官军的船被烧毁一千多艘，死伤无数，土星港水营全军覆没，死伤无数。
江面上都是太平军的船只，浩浩荡荡，密密麻麻，不知道有多少人，满清博勒恭武和岳州知府廉昌、巴陵知县胡方谷、参将阿克东阿见状，不战而逃。
杜子婴乘机在城里起事，击败清军副将巴图，杀了守军数百人，夺得仓库中三万两银子军饷，并一举拿下梁夫岘、隆奉庵等要地，太平军顺利进驻岳州，还缴获大批饷糈、火药、枪械，并意外地发现三十门当年吴三桂留下的铜炮。
三天时间，岳州城内城外投靠太平军的人络绎不绝，三教九流，地痞流氓，无地农民……太平军从五六万扩到七八万人。
杨秀清很高兴，任命近日投靠的、原停泊在岳阳楼下的祁阳商船主唐正财为典水匠，职同将军，建立太平军的水军，共一万余人。全军在岳州城休整五天，等雨停了，浩浩荡荡顺流杀向武昌城。
岳州失守，太平军进犯武昌，咸丰皇帝大为震怒，立即命军机处大臣起草上谕：巴陵知县胡方谷、参将阿克东阿不战而逃，斩立决；岳州知府廉昌、博勒恭武革职拿问，秋后问斩；原湖广总督程矞采革职查办，任命两广总督徐广缙为钦差、署理湖广总督，即赴武昌防守；任命曾国藩为团练大臣，在家乡湖南组织团练，对抗太平军，当地配合粮草和兵饷。骆秉章守住长沙有功，官复原职，还是任湖南巡抚，镇守湖南。
在湖南巡抚衙门，李翰章和左宗棠等人还在庆贺长沙解围，巡抚骆秉章说：“长毛用兵狡诈，说不定哪天又会突然挥师南进，攻打长沙，各位还不能松懈下来。”
“属下自当殚精竭虑，在所不辞。”李翰章、左宗棠、江忠源等人说。
不久，骆秉章等人也接到皇帝的圣旨，知道岳州失守，皇上震怒，还命曾国藩办团练，他便让李翰章当巡抚特使，陪宣圣旨的内侍官去湘乡见还在家中守孝的曾国藩。
曾国藩在老家，除了守孝，开始对自己的一言一行严加修饬，并立下日课，静坐、早起、读书不二、读史、写日记、记茶余偶谈、谨言、临摹字帖。
曾国藩接完圣旨，按照老规矩，给内官送了一百两的银子。送别之后，曾国藩问李翰章的长沙和岳州的战事。
李翰章说：“长沙一战，长毛匪首萧朝贵死了，士气低落，变撤退去攻岳州。胡方谷等却不战而逃，弃城逃命。”
“不战而逃可耻！这些人上负朝廷之寄托，下负百姓之期望，祸害不小，杀头不足恤；这样的人，如在我的手下，不待朝廷下令，早就先把他杀了。”曾国藩说。
李翰章点点头，说：“身为一城之主官，临阵脱逃，理应斩首，以肃国法军纪。我是在想，这些朝廷之军士如何这般不中用，长毛一来，就吓跑了胆。朝廷下旨让老师办团练，估计也知道他们知道那些绿营兵不过是一班酒囊饭袋而已，本来就难以平叛长毛。唯有老师能担此重任。”
“绿营兵本来就不堪重用，他们长期不经战事，腐化堕落。”曾国藩说。</p>
<strong></strong> 李翰章谈到骆秉章希望曾国藩出山去省里办团，便把一份禀报递给曾国藩说：“今天浏阳县里又闹出一桩大案，一个叫周国虞的糙汉，杀了狮山书院廪生王应苹，封存粮仓，准备造反。长毛已闹得天翻地覆了，再加上这些土寇闹事，朝廷纵有三头六臂，也不能应付。前些日子老师说没有圣旨不出山，现在圣旨来了，老师可以考虑办起团练了。”