湘军的兴起并非曾国藩个人的功劳，湖南的很多儒生都发挥了重要作用。湘军建立之初，江忠源、郭嵩焘就多次建议筹办水师。江忠源提出对抗太平军的根本办法是以水师先控制长江，再夺沿江太平军重镇九江、安庆、南京。于是曾国藩在衡阳建船厂赶造战船，派人赴广东购买洋炮。衡阳石鼓书院出身的不第秀才彭玉麟被曾国藩选来指挥水师。彭玉麟清白正直、胆略过人，自订“三不”原则――“不受官、不私财、不要命”，常说“吾不令将士独死，亦不令怯者独生”。在彭玉麟的指挥下，湘军水师在湘潭等战役中击败太平军，为陆上屡战屡败的曾国藩挽回了些颜面。在与太平军的作战中，湘军水师的成绩更大一些，彭玉麟也因此被誉为“中兴第四名臣”，官至兵部尚书。湘军陆师也有一些著名的悍将，如罗泽南、李续宾、塔齐布、曾国荃等，其中罗泽南、李续宾、曾国荃都是儒生，江忠源、罗泽南、李续宾都捐躯战场。。
湘军的战斗力仍然不比太平军强，不管它的陆师还是水师，都被太平军打得大败。曾国藩自己承认：“湘潭、岳州两次大胜，实赖洋炮之力”，“购买外洋船炮，则为今日救时之第一要务”。但毕竟，湘军比朝廷的八旗、绿营兵厉害得多，而且湘军的数量一直比太平军少。1860年，清军主力的江南大营遭到太平军的重创，这使得朝廷不得不倚重湘军，虽然这是养虎遗患的政策。曾国藩被任命为兵部尚书兼两江总督，并以钦差大臣身份督办江南军务，苏、皖、浙、赣四省巡抚、提镇以下悉归节制。曾国藩赶上了好机会，太平天国精锐部队在北伐中不适应北方严寒而全军覆没，高层出现了内讧和腐败，主要领导人洪秀全堕落了，杨秀清死了，石达开走了，陈玉成和李秀成也意见不统一。曾国藩开始汇集各方面力量清剿太平军，左宗棠、李鸿章于是跃上前台。
左宗棠早年曾就读于岳麓书院湘水校经堂。湘水校经堂是岳麓书院的一个下属机构，如果说岳麓书院相当于大学的话，湘水校经堂就相当于研究生院，它专门研究古籍，侧重于考据。左宗棠少负大志，19岁就自比诸葛亮、司马迁。左宗棠中举后三次赴京会试都没得到进士，于是回到湘阴老家，买了水田山地，种稻植桑，饲猪养牛，自号“湘上农人”。左宗棠一面干着农活，一面研读地学、农学、水利、荒政、田赋和盐政等方面的书籍，并写了一部《朴存阁农书》。左宗棠与岳麓书院时的老师贺熙龄关系要好，贺熙龄是贺长龄的弟弟，也是湖南名儒，官至湖北学政、台州知府，左宗棠因此有机会结识陶澍、胡林翼。胡林翼对左宗棠评价颇高，并将其介绍给了两江总督林则徐。林则徐生前把自己发配伊犁时整理的有关新疆的政治、军事、地理资料交予左宗棠，嘱托他：“西定新疆，舍君莫属。”林则徐在遗书中向皇帝举荐左宗棠，称其为“绝世奇才”、“非凡之才”。
有了陶澍、林则徐的赏识，左宗棠在湖南声誉鹊起。湖南巡抚张亮基、骆秉章先后请其出任幕僚，骆秉章更是将湖南军政大权全部交给了左宗棠。左宗棠于是恃才放旷、得意轻狂，不把一般的官员放在眼里。一次，一个叫樊燮的二品武官给他请安，左宗棠大骂他“忘八蛋，滚出去”！此人将左宗棠作为“劣幕”参奏给了朝廷，咸丰皇帝大怒，下令若查证属实，可以就地处决左宗棠。消息传开，湖南士人纷纷出面营救，郭嵩焘找到了皇帝身边的潘祖荫，并替潘准备好了上疏，其中写到：“天下不可一日无湖南人，湖南不可一日无左宗棠。”从此，这句话就传遍全国。左宗棠因祸得福，被任命为候补四品官员，辅助曾国藩办理湖南军务。1860年，在曾国藩的大力支持下，左宗棠招募五千湖南人组建“楚军”，赴江西、皖南与太平军作战。1862年春，左宗棠升任浙江巡抚。
李鸿章是安徽合肥人，小曾国藩十二岁，他的父亲李文安与曾国藩是同科进士。那时士子们非常讲究同年之谊，李文安和曾国藩都醉心于理学，二人关系很好。李鸿章在未中科举前就跟随曾国藩学习文章，是为师生。1847年，李鸿章考中进士，授翰林院编修，与前辈曾国藩成了同僚，李鸿章仍然常向其请教。李鸿章年轻时志向远大，曾作诗“遍交海内知名士，去访京师有道人”、“一万年来谁著史，三千里外觅封侯”。1853年，李鸿章也回到了家乡安徽帮办团练，常向当地强行征收军费，被人骂为“翰林变作绿林”。李鸿章在安徽小立军功，被朝廷记名作为道府官员备用。李鸿章年少得志，不免轻狂，受到了当地的排挤。由于李鸿章的长兄李瀚章原在湖南益阳、善化任知县，后进入湘军管理粮饷，与曾国藩的关系非同一般，李鸿章决定投靠曾国藩。1859年1月，李鸿章在江西建昌入曾国藩幕府。李鸿章跟随曾国藩当幕僚期间，从曾那里学到了很多东西。曾国藩对李鸿章也很欣赏，凡军国要务，曾国藩都与李鸿章筹商。
宗法制使得湘军结成了一个紧密强大的集团。以地域而论，有湘乡的曾国藩、罗泽南、李续宾、刘蓉，新宁的江忠源、刘长佑、刘坤一，湘阴的左宗棠、郭嵩焘。兄弟同伍的有江忠源、江忠义、江忠济和江忠树，李续宜和李续宾，曾国藩、曾国荃、曾国葆和曾国华，李瀚章和李鸿章。亲家关系有胡林翼和罗泽南，罗泽南与曾国藩，曾国藩与刘蓉、李续宜、李元度。师生关系则有罗泽南与王?、李续宾，曾国藩与江忠源、李鸿章。常常是同乡加亲家，亲上加亲。这种“军队私有”、“朋党政治”在当时有一定的积极意义，比如罗泽南就是在亲家胡林翼的劝导下才拼死攻打武昌城的，郭嵩焘全力阻止了朝廷诛杀同乡左宗棠，曾国藩的两个弟弟也都战死沙场。但是它蕴含着极大的危害性，清廷对此也是相当警惕的，在曾国藩与左宗棠、李鸿章之间都进行了分化。
湘军以书生带兵，人才扎堆，必然会出现文人相轻的现象，曾国藩、左宗棠、李鸿章三巨头就颇有瑜亮情结。曾国藩早年曾作一联嘲讽左宗棠：“季子自鸣高，仕不在朝，隐不在山，与人意见辄相左。”（左宗棠字季高）左宗棠立即反唇相讥：“藩臣当卫国，进不能战，退不能守，问君经济有何曾？”到了晚年，心境变得平和，左宗棠送给多年互不联系的曾国藩一副对联，总括了两人间三十多年的交往：“知人之明，谋国之忠，自愧不如元辅；同心若金，攻错若石，相期无负平生。”曾国藩生前，有人问他：“先生之后当是谁主中流？”曾国藩答道：“当然是西北左季高与京城李少荃！”李鸿章嘲笑左宗棠虽很有作为，但不是进士和翰林，身后就不能获得最高层次的“文”字谥号。左宗棠咽不下气，特意在进疆平叛途中上书，要求请假回京参加会试，以获得进士文凭。慈禧只得下诏战事紧急，主帅不宜请假，特赐进士出身，并赏翰林。左宗棠死后得封“左文襄公”，李鸿章得封“李文忠公”，曾国藩得封“曾文正公”。李鸿章对曾国藩也一直不服气，认为自己可以超越曾国藩。到了临终，李鸿章才承认曾国藩比自己高明。曾国藩说：“士有三不斗：毋与君子斗名，毋与小人斗利，毋与天地斗巧”，“以天下之至拙胜天下之至巧，以天下之至诚胜天下之至伪”。毛泽东认为曾国藩是“地主阶级最厉害的人物”。
1861年秋，李秀成统率太平军50万，分道进攻浙江。12月，李秀成攻克杭州，马不停蹄，又挥师进击上海。上海一片惶恐，士绅、买办们多次敦请曾国藩出兵淞沪。曾国藩对上海非常在意，认为“上海为苏杭及外国财货所聚，每月可得厘捐六十万金，实为天下膏腴……上海一县，人民千万，财货万万，合东南数省，不足比其富庶”。曾国藩原本打算派曾国荃带兵前往，但形势变化了。1862年1月，朝廷发出上谕称：“何地无才？不必湖南之人充勇，湖南之人始能杀贼。嗣后各直省督抚及各路统兵大臣，务当认真选将，就地取材，各就各省按照湖南募勇章程妥为办理。”曾国藩意识到朝廷对“无湘不成军”、“湘军将帅半天下”忌讳已深，决定改派机敏的李鸿章率军赴沪，也好与洋人打交道。
有了带兵人，兵从何来？湘军兵力不足，必须新招。若大量招募湘勇，另组新军，存在着具体困难。从1854年湘军出省作战以来，兵勇伤亡惨重，湖南人力消耗已甚，兵源枯竭。更何况不久前的安庆战役使得湘军伤亡很大，尚须回乡补充。湖南兵也未必服从安徽人李鸿章。李鸿章在曾国藩军中，也颇受湖南人排挤，曾经说：“湘人胸有鳞甲。”同时，曾国藩觉得湘军暮气日深，名将们相继死去。打下太平天国后，还要剿灭北方的捻军，而北方的生活，非湖南人所宜。最主要的还是，朝廷有旨，“就地取材”。
于是，曾国藩命令李鸿章招募淮勇，筹建淮军。李鸿章过去在淮上办过团练，有很多旧识，李鸿章将他们招来，按照湘军的办法重新组织训练。1862年3月，李鸿章陪同曾国藩在安庆校阅淮勇，淮军正式成立。李鸿章赴沪是代表湘系的，而淮军仅四营，且没有经过大仗，战斗力不强，曾国藩觉得必须加强淮军的实力。他拨出湘军五个营归李鸿章调遣。这样，李鸿章统率的淮军正勇约6500人，连同长夫、幕僚等，总人数约为九千。1862年4月，上海士绅、买办、官僚等租用英国轮船前往安庆，由英国兵舰护航，将淮军分批装载赴沪。李鸿章到上海后，积极练兵扩军，从英国手中购买洋枪、洋炮，并请英国军官教练淮军。不久，在曾国藩的保荐下，李鸿章就任江苏巡抚。李鸿章很快控制了上海的关税收入和江苏的厘金。依靠这些雄厚财力，李鸿章在1862年到1864年春的两年间，将淮军扩编至七八万人，与湘军几近双峰并峙。
1862年，曾国藩以安庆为大本营，命曾国荃率陆军、彭玉麟率水师顺江东下围困南京，命左宗棠部从江西攻浙江，命李鸿章部从上海攻苏南，对南京实行了战略包围。1863年6月13日，石达开兵败大渡河。1864年6月3日，洪秀全病死，其长子继位。7月19日，湘军攻陷南京，太平天国宣告失败。曾国藩被封为一等毅勇侯，加太子太保。8月15日，奏准裁撤湘军精锐二万五千人。不久，曾国藩决定解散他指挥的全部十二万湘军，只保留左宗棠的楚军和李鸿章的淮军。到1866年，湘军绝大多数都已退役。
主动解散湘军显示出曾国藩没有追求个人权势的野心。曾国藩做出这个决定，除了信仰“花未全开月未圆”、“有福不可享尽，有势不可使尽”之外，也是基于道德的重负。作为一名理学家，曾国藩志在“转移习俗而陶铸一世之人”。天下英雄，第一是洪秀全，第二是曾国藩，洪秀全腐化了，被曾国藩打败。然而曾国藩发现，湘军同样变得腐化，无休无止地劫掠百姓、滥杀无辜和邀功请赏。曾国藩哀叹道：“余设立水师，不能为长江除害，乃反为长江生害。”文官也不廉洁，早在1861年春，曾国藩手下厘金税吏的贪污就已恶名远传，即使最优秀的将领，也只有在看到升官的推荐书或可期的战利品时，才肯卖命。胡林翼两次写信责备他“嫉恶不严，渐趋圆熟之风，无复刚正之气”。对此，曾国藩认为自己最好的办法就是学“老僧不见不闻……惟懵懂可以祓不祥也”。到1863年时，曾国藩无奈地退而认为，在教育儒家君子时，应考虑到“利”。经验迫使曾国藩实际上放弃了信仰“一二贤且智者，心之所向，能够移风易俗”，他这时承认，吏治中的一些倾向确实已不能纠正，“大抵风俗既成，如江河之不可使之逆流。虽尧舜生今，不能举斯世而还之唐虞”。
曾国藩靠理学和实学崛起，既重内圣之道，又重外王之术，在现实中他屡屡将道义让位于功利。曾国藩做不到厚颜无耻，他曾自省道：“内疚于神明，外得罪于清议，远近皆将唾骂。”曾国藩一生都在道义与功利之间挣扎，六十一岁就病死了。在晚年，曾国藩又恢复了原来的观点：不道德的社会归根到底一定要由有德之士来纠正，树立正确的道德准则和态度必须成为首要目标，经世致用之术不管多么重要，必须处于从属地位。1869年8月，曾国藩出任直隶总督之时，即发表了《劝学篇?示直隶士子》，开列了四门学问：“经过自我修养而获得的义理”、“考据”、“辞章”、“经世致用之学（经济）。”曾国藩着重指出，一定要把个人以全部才能献身于维护“伦纪”的行动看得比处理实际事务的知识更重要，这种献身行为只有通过立志和居敬，通过履行修身之道才能做到。他说：“苟通义理之学，而经济该乎其中矣。”曾国藩也认为，清朝的制度虽然在道德和礼仪这两方面没有缺点，但在实际执行上能够而且应该有所变通。他说：“前世所袭误者，可以自我更之；前世所未及者，可以自我创之 。”
湘军官兵劫掠到了足够的财富，解甲归田了。现代汉语中有一个词叫“敲竹杠”，就源自湘军回家。他们为躲避路上检查，将金银财宝塞进竹竿，水路漂回湖南。后来这个秘密被发现，沿途地方官就以敲击竹竿来索要钱财。经此一战，湖南完成了原始积累。靠着这批财富，他们在家乡兴学堂、办实业，湖南在中国崛起，号称“中国之普鲁士”，涌现出了一批又一批人才，如谭嗣同、唐才常、熊希龄、杨度、黄兴、宋教仁、陈天华、蒋翊武、焦达峰、蔡锷、刘揆一、唐继尧、杨昌济、谭延?、唐生智、鲁涤平、章士钊、程潜、邓中夏、罗章龙、范旭东、齐白石、欧阳予倩、贺绿汀、沈从文、田汉、陈明仁、宋希濂等。杨昌济对此总结到：“湘省士风，云兴雷奋，咸、同以还，人才辈出，为各省所难能，古来所未有。”
曾国藩和湘军的成功引来了很多时人和后人的关注。当时朝廷册封了几十个团练大臣，只有曾国藩打败了太平天国。李秀成被捕后总结太平天国失败原因说：“官兵多用读书人，太平军中无读书人。”冯桂芬说曾国藩“武略本文经，为汉唐后儒臣吐气”。梁启超说：“罗泽南、曾国藩在道、咸之交，独以宋学相砥砺，其后卒以书生犯大难成功名。他们共事的人，多属平时讲学的门生或朋友。自此以后，学人轻蔑宋学的观念一变。”宋代理学，一门一直被视为“空疏无用”的学问变成了“有用之学”。深究起来，并非宋代理学的学问有多大奥妙，而是它里面蕴含着的精神释放出了能量。曾国藩不像一般人只学了程朱理学的条条，而是践行了它的精神。曾国藩自谓“平生受挫受辱之时多矣，无一次不打脱牙和血吞”，“莫问收获，但问耕耘”，“大处着眼，小处下手”，“君子但尽人事，不计天命，而天命即在人事之中”。
曾国藩和湘军的成功离不开程朱理学，更离不开湖湘实学。实学即经济之学、经世致用之学，是义理、考据、辞章三门传统学问之外的边缘学问。边缘由于远离中心，束缚较少，进取心较强，更容易创新。曾国藩作为一个朝廷的边缘人物，做事情没有包袱，所以他敢于上书骂当权皇帝，敢于变团练为军队。薛福成说：“文正（曾国藩）以团练始，不以团练终，且幸其改图之速，所以能成殄寇之奇功、扩勇营之规制也”，“惟早变其实，并变其名，所以能有成功”。
1864年12月，在攻陷太平天国首都南京五个月后，曾国藩即主持修复江南贡院，补行江南乡试，会考江南优贡。1865年6月，曾国藩长期主持整理的《王船山遗书》完稿，共320卷，交金陵书局出版。曾国藩一直对教育非常重视，他每到一地都大力修复书院，如安庆的敬敷书院，南京的钟山书院、尊经书院、惜阴书院，益阳的箴言书院。曾国藩为各地书院选聘山长、指导教学、资助经费，期待书院能够“化民成俗”。湘军其他人物对兴办书院也都非常热情，左宗棠修复南菁书院、兰山书院；彭玉麟改建衡阳船山书院；李鸿章修复紫阳书院、正谊书院；薛福成创建崇实书院；郭嵩焘重建湘水校经堂，并创建思贤讲舍，后发展为船山学社。曾国藩的门生黄彭年、张裕钊、吴汝纶先后主持河北莲池书院，令北方风气大开。吴汝纶曾在莲池书院附设西文、东文学堂，聘请英籍、日籍教师，传播新学，后来他被聘为京师大学堂总教习。这些书院培养出了很多优秀学生，像陈独秀、李烈钧就出自敬敷书院。