李白死后，他的朋友及崇拜者魏颢，在其所撰写的《李翰林集序》中说道：“(李)白始娶于许，生一女一男，(男)曰明月奴，女既嫁而卒。又合于刘，刘决;次合于鲁一妇人，生子曰颇黎，终娶于宗。”
魏颢是与李白的后半生中交往较深的人。所以，对于他写的这篇“集序”，也就成了研究李白家庭的重要
参考依据。现根据他的记述，并结合其他史料，来逐一剖析李白的婚姻及其子女等情况。魏颢交待了在李白一生中，分别跟四位女人相结合的事儿，但是又有所分别。对于李白一前一后的两次婚姻，他用了“娶”字;而对于中间的两次男女结合，他用的是“合”字，表明这不算是正式的婚姻，而是一种“男女同居”的关系。
不过，魏颢却也用错了“娶”字。因为，在古代汉人婚俗里，把女子娶进门，叫“迎娶”，或如通俗说的“娶亲”，即是以男性为主体的婚姻;而男子上女方家门，做女婿的婚姻，则反过来是以女性为主体的婚姻，就不能称之为“娶”，在古代叫做“入赘”，用现在通俗话讲，就是“做上门女婿”。
据李白自言：“…故知大丈夫必有四方之志，乃仗剑去国，辞亲远游，南穷苍梧，东涉溟海。见乡人相如大夸云楚之事，云楚有七泽，遂来观焉。而许相公家见招;妻以孙女，便憩迹于此，至移三霜焉。”(《上安州裴长史书》)
这指的是李白在25岁出川后，便一直四处漫游，他见到同乡人司马相如的文章里，大为夸耀楚地云梦的湖泊如何神奇壮观，就慕名而来观赏，碰到离此不远的安陆府地，住着前代相国许圉师一家，把他招进门做了女婿，许家的一位孙女就成了李白的妻子。后来他们还有了两个孩子，大的是女儿，叫平阳;小的男孩叫伯禽，乳名明月奴。李白的后一次正式婚姻，同样是被“见招”，做的是另一位唐代宰相宗楚客家的上门女婿，李白“宗夫人”即是宗楚客的孙女。
在我国古代，男人做上门女婿的社会地位是相当低贱的，被当时人们视作为“异常之举”。以男性为主体的婚姻习俗，当可溯源到我国的周朝始。那时，由于以父系为中心的婚姻伦理观念得到加强，而后“男尊女卑，夫为妻纲”，则成为封建社会人伦关系的重要准则。男子汉肩负着顶门立户，维持自性血脉相承的大任，而女子出嫁到男家，生儿育女，操持家务，被视为天经地义的事儿。那么，作为一种反常现象，男子汉嫁到女家做“上门女婿”，就被人们贱视而待了!因而古人对此用了相当精妙的“入赘”一词，来给以称谓。
“赘”在汉语里的解释是“多余的”，比喻“剩余之物”。汉词中，对多余的话叫“赘言”;对人们皮肤上生长的瘊子，叫“赘疣”(比喻多余而无所用);对男子做上门女婿，便称之为“赘婿”。在我国秦汉之时，是把“赘婿”当成罪犯等“五类份子”对待，要把他们强征到边关去做苦力的，称之是“谴戌”。到了唐朝，虽然当时社会风气已较为开放，但在汉人聚居地，由于接受儒学传统占据主流，儒家伦理观念仍是“正统”人们心中一道难以逾越的藩篱。
比如，唐人对于相关史籍中“赘婿”一词的释义，就表现出当时基本的世俗观念，即对这种异常现象的鄙视和不齿。例如，司马贞在对《史记?滑稽列传》中，出现的“淳于髡是齐国赘婿”条文上注释道：“做女人丈夫，像他这种应招上门的，就好似人身上的疣赘，是剩余之物了。”再例如，颜师古在《汉书?贾谊传》上，对“家贫子壮则出赘”文句，进一步引申说：“所谓赘婿者，是说他不当而出在妻家，亦犹如人身体上有肬赘，本不属应有的东西。”
那么，李白为何敢冒天下之大不韪，而接连两次甘当“赘婿”呢?究其原因，一方面讲，李白毕竟出自“胡地”，在回到巴蜀江油偏居后(当时亦称为西南夷)，那里也杂居着以“羌胡”为主的许多少数民族，他必会受到当地婚俗世风的影响。所以，对于深具豪放本质的诗人李白来讲，他是不会在意于内地汉人的“世俗之见”的
。
据历史学家的考证，在李白出生地碎叶，以西突厥人的活动影响最大。当时生活于西域之地的各民族，还存有许多母系氏族社会中遗留下来的风气，且突厥族的社会发展，相比汉族要落后许多。他们突出女性的身份地位，婚俗上往往体现于“女婚男嫁”。
在玄奘写的《大唐西域记?序论》上，就讲述了这样一段关于西域习俗的话：“黑岭以来，莫非胡俗。…(其)嫁娶无礼，尊卑无次，妇言是用，男位居下。”而在《隋书?北狄传》中，对突厥族人的风俗也有一说：“(他们)虽姓氏各别，总谓铁勒。…唯丈夫婚毕，便就女家，待产乳男女，然后归舍，死者埋殡之，此其异俗也。”
因此，我们对李白是否汉人(郭沫若说)?或者胡人(陈寅恪说)?又或者胡化的汉人(胡怀琛说)姑且不论，但可以肯定一点，他是出自西域迁来的家庭，必然要深受到突厥文化的影响的。李白对于先后“入赘相门”为婿之事深感荣光，并时在诗文里得意自鸣。可见从他的心理上，并无有这层阴影，也显出李白“奇”的特征。然而，事情也不是这么简单。李白对于自己的婚姻大事，是有着想“攀附名门”来提升身份地位，便于结交权贵，跻身于仕途考虑的!也就是说，李白的某些行事作风上，也存在未能免俗之处。
陈寅恪先生在《元白诗笺证稿》里讲道：“唐代社会承南北朝之旧俗，通以二事评量人品之高下。此二事，一曰婚，二曰宦。凡婚而不娶名家女，与仕而不由清望官，俱为社会所不齿。”从陈寅恪先生的这段论述里，我们当可明白，以李白关于婚事和积极求仕的表现看，他是两样均沾了。无容讳言，李白也有着热衷于追求世风的一面，如此也便是人性的完整体现。
然而事与愿违，李白的婚姻选择，并没有给他的事业发展增添多少筹码，倒使他在家庭问题上平添了几许愁绪，尤其是对养育子女方面更欠账难偿!虽然李白在漂泊流离时，对其儿女们表现出深深牵挂且愧疚万分，但这弥补不了他所造成的子女在育养问题上的伤害!
安陆府的许相国家族，曾经在唐初至高宗帝年间煊赫一时，但时过境迁，也无后人在朝为官，难以为李白提供多大的势力保护伞，其主要的功劳是给他解决了衣食等生活问题。李白是以“酒隐安陆，蹉跎十年”之语，来概括他在安陆所度过的、近十年的落魄生涯的。
仅是因为他错将安州长史李京之，误认成自己的老朋友魏洽的这桩“小事”，竟然也惹得李长史大为不快，差点就被“缉拿归案”。为此，李白不得不上书李大人，再三以卑词谢罪，信中说道“(李)白孤剑谁托?悲歌自怜。迫于悽惶，席不暇暖。寄绝国而何仰，若浮云而无依。南徙莫从，北游无路。”
由此可见李白当时处境，是多么的窘迫无依。他的好酒之性，这时也一发不可收拾了。“三百六十日，日日醉如泥”，这便是他写给许氏夫人的诗句，表现了这位天才诗人因彷徨失措，只求醉酒解闷的怨恨。实际上，李白同安陆家人是离多聚少的。大概他常住家里的时间不足三年，这中间还要把他游历于江夏等地连算在一起。
唐开元末年(约736年)，许氏夫人不幸病逝，这可是对李白家庭上的重大打击。有许夫人在，对他们两个小孩的育养照料，是不成什么问题的，许家人里也不能公开反对。于今许氏不在了，李白作为上门女婿的身份地位，又常年效果并不显著的奔波在外，有谁愿意挑起抚养自己小孩的重担呢?如果说，原先许家人对李白还只是
冷眼旁观，背后闲言碎语，而现在却会公开地指责他的许多不是之处了。再加上李白在安陆混得并不好，社会空间对他似乎很有限。时年36岁的李白，骤然间感到了内外交困的巨大压力，他是很难再呆在安陆许家了，匆忙间携儿带女，移居到东鲁(山东)之地。后来李白跟友人提及到这段艰难的岁月，诗中言：
少年落魄楚汉间，风尘萧瑟多苦颜。