Ásgerður Björnsdóttir ólst upp með báðum eiginmönnum sínum, Þórólfi og Agli Skalla-Grímssonum. Þórólfur bað hennar og Björn samþykkti það. Svo þegar Þórólfur dó, bað Egill hennar og fékk Arinbjörn, frændi hennar, að ráða því af því Björn vildi ekki ákveða það. Arinbjörn ákvað að Egill fengi hana fyrir konu.