从可靠的史料来看，海瑞(1515年-1587年1先后有过3位夫人，又至少纳过3个小妾。海瑞一生结过3次婚。大夫人潘氏进海家后，勤劳肯干，性情也不错，但海瑞的母亲谢氏处处挑毛病，骂潘氏是“女骡”转世，唆使儿子续弦。理由十分简单，潘氏多年不生育，有碍“不孝有三，无后为大”的礼教，海瑞终于休掉了发妻潘氏。
海瑞的第二位夫人姓许，育有两个女儿，也被海瑞休弃了。许夫人到底是什么原因被休，犯了“七出”中的哪一条?从“以大故所出妇许氏”的提法来看，许夫人似乎有过什么大差错，但是所谓的“大故”到底是什么呢?也许是没有生男孩，海家无后。是否如此已经无从查考。另一种原因，也是许多人曾经猜测的，可能是她与海瑞的母亲海太夫人之间的婆媳矛盾有关。历史材料显示，海瑞是个有名的孝子，他永远是无条件地站在母亲这一边，这就决定了海家媳妇的不幸命运。
海瑞和许夫人离异之后，又娶了王氏夫人。王夫人比较争气，在海瑞到达淳安之前两年为海瑞生了个儿子，取名中砥。海瑞到淳安任上之后的当年，王夫人又为海瑞生了个儿子，取名中亮。王夫人还生了个女儿。嘉靖四十三年(1564)十月海瑞被调到北京户部工作。海太夫人不喜欢到寒冷的北方去生活，海瑞没有办法，只好让王夫人携同二男三女服侍海太夫人从海瑞在江西兴国县令的任上南归，而海瑞则带了两个仆人北上任职，这一年海瑞52岁。王夫人于隆庆二年(1568)七月二十四日晚上去世，据海瑞说是生病死的，但也有人说是自杀的。《万历十五年》说王夫人“于1569年在极为可疑的情况下死去”。在王夫人去世前11天，海瑞的妾韩氏上吊自杀。韩氏为何自杀?王夫人到底因何而死?这些事都已经成了历史之谜。’
必须交代的一件事是嘉靖四十四年(1565)十月，海瑞上了震惊朝野的尖锐批评嘉靖的“直言天下第一事疏”――《治安疏》，而在次年二月下狱。两个儿子就在这一年死了，一个11岁，一个9岁，而海瑞已经54岁了。可以想见，妻死妾亡，海瑞的心态会如何呢?据一封写给朋友的信件透露，海瑞说自己“每一思及，百念灰矣”。而酿成这样的家庭悲剧，症结可能还是出在已近八十高龄的海太夫人身上。海瑞还有一妾姓邱，史料中只说她为晚年的海瑞生了一个儿子，但长到三岁就夭折了。海瑞于隆庆四年(1570)四月申请退休，获准后离开南京回家乡琼山闲居，从此离开官场15年，直到万历十三年(1585)正月已经73岁时才重新回到官场，到南京任都察院右都御史及吏部右侍郎之职。万历十五年十月十四日海瑞死的时候有“二媵四仆”。媵是侧室，也就是小妾。
先后嫁给海瑞的6位女人，有4个的下场都十分悲惨，其中不能不说有海瑞的“薄情”。是的，历史记载，海瑞的母亲刁钻刻薄，拿儿媳妇当出气筒。海瑞则唯母命是从，甚至打骂媳妇，只要老母不生气就是尽孝道，全然不管对方的死活和感受。他每日板着脸孔面对妻妾，“不苟言谈”，唯恐老母“掉脸子”给他难堪。海瑞也毫不顾及政敌的攻讦，时论的非议，更铁石心肠地看着妻妾们一个个落难离他而去，参与母亲对妻子施暴。这虽然说是他孝道观的扭曲，也不能不说是体现了他对妻子正常的感情乃至于人性的缺失。正襟危坐的“海青天”，在大讲封建礼教、仁义道德、三纲五常的同时，几乎变成了面目可憎的“衣冠禽兽”了!
海瑞对女性的狠心，还见证于他对自己亲生女儿的态度上。与他同代的学者何良俊撰《何氏语林》，记述海瑞的家事：海瑞有个女儿5岁。一天，海瑞看见她拿一块饼子在吃，就问：“谁给你饼吃的?”答：“是僮某”(僮可指家中的仆人，也可指未成年的男子，此指是后者)。海瑞大怒道：“女孩儿家怎能随便接受僮的饼?你不是我的女儿了；如果能从此不吃东西而饿死，才算是我的女儿!”女儿哭了，果然不再吃东西了(家人们也不敢给她东西吃)。到了第7天，女儿活活饿死了。海瑞是说得到做得到的，绝无通融的余地，对5岁的女儿不进食而不幸饿死居然毫无追悔之情，其做法实在残忍。古人说得好，“夫妻本是同命鸟”，“女儿是父亲的小棉袄”。可海瑞的妻子和女儿们呢，她们在万丈雄心的海瑞眼里，竟然都成了可以肆意作践的蝼蚁草芥!