李鸿章的先祖本姓许，明朝时从江西湖口迁到了安徽庐州府合肥县。李鸿章八世祖许迎溪的姻亲李心庄膝下无子，许迎溪把次子许慎所过继给了他。此后，许慎所的子孙便改袭李姓。 李家世代“耕读”，一直比较清贫，李鸿章的祖父李殿华当家时，家境穷困，李鸿章曾在信中回忆到：“至年终时，索债者如过江之鲫。祖父无法以偿，惟有支吾以对。”
李殿华年轻时参加了两次乡试，都名落孙山。见自己科考无望，便将希望寄托在后代身上。李殿华生有四子，文煜、文瑜、文球、文安，从小就教育督促他们读书识字，希望他们能够光宗耀祖。
四子之中，最小的李文安终于不负众望，于1834年参加江南乡试中举。四年之后，与曾国藩同登进士科。大器晚成的李文安是李家有家谱记载的前七代人中唯一的一个进士。虽然此时的李文安已年届40，但正是他改写了李家的走向，使这个清贫之家“以科甲奋起，遂为庐郡望族”。
李文安(1801～1855)，字式和，号玉川，又号玉泉，别号愚荃。1838年登进士科，分至刑部任职。后为四川主事，云南员外郎，督捕司郎中，记名御史。
李文安善良忠厚，正直清廉，尽心尽力，政声卓著。当他负责秋审的时候，秉公执法，为冤屈之人平反，“庭诤面折，人有包老再世之目”。对待囚犯，他完全没有轻视之意，反而无微不至。他严禁狱卒虐囚，夏天分发蒲扇，冬天分发棉衣，春秋就备好治易发传染病的药。他在刑部的18年中，狱中从没有意外死亡的事件。李文安的《贯垣纪事》记录了当时的一些情形：
每思工部千间厦，更爱香山万里裘。我且按囚给大被，铺秸草刈野塘秋。
南北奔驰十里程，衣冠整肃踏沙行。给筹鱼贯分餐际，堪念嗷嗷待哺情。
衣冠整肃待衙参，每日平安竹报谙。常愿两监无病帖，论功不厌纪窗南。
1852年，太平天国运动爆发，李文安在家乡组织团练，对抗太平军。后来积劳成疾，于1855年溘然长逝，享年55岁。李文安去世之后，追封资政大夫，通议大夫，建威将军，又赠荣禄大夫，光禄大夫、通奉大夫、还在中庙建立了专祠。
李文安的原配夫人李氏(1799～1882)是振威将军李鸿谟之女，贤淑孝顺又坚强能干。她勤俭持家，含辛茹苦地抚养几个孩子长大成人，还非常注重对他们的教育。在儿辈们有所成就之后依旧保持勤俭的家风，儿辈每迁一官，她都会训诫他们要报效朝廷。多年的默默付出并没有白费，儿孙都非常出色，她在后半生也享受了大富大贵。1882年病逝，享年83岁，皇帝特颁圣旨：“大学士直隶总督李鸿章、湖广总督李瀚章之母，秉性淑慎，教子义方，今以疾终，深堪轸恻，朝廷优礼大臣，推恩贤母，灵柩回籍时，著沿途地方官，妥为照料，到籍后，赐祭一坛，以昭恩眷。钦此!”(《文安公之配李太夫人饰终谕旨》)1909年赠一品夫人，晋封一品伯夫人。