功業彪炳，盛極而衰

汉宣帝即位后，霍光每次上朝，宣帝都感到如芒在背，极度不安，可见霍光权威之盛。宣帝始终对霍光保持恭敬，不露声色，将霍氏家族的女儿立为皇后。地节二年，霍光去世，宣帝亲自主持葬礼，陪葬于汉武帝的茂陵，给予了极高的荣誉。 然而霍光的家族却在他死后迅速走向衰亡。霍光的妻子曾毒杀了宣帝的原配妻子许皇后，立自己的女儿为皇后，此事后来被揭发。霍光的儿子霍禹和其他子弟，权势熏天，飞扬跋扈，企图发动政变，被宣帝提前察觉，一网打尽，霍家被灭族。 太史公（班固）评论说：霍光忠于汉室，辅佐了两朝天子，废立之功，史所罕见；他本人谨慎克己，然而没有能让家人也保持克制，以致覆灭，令人惋惜。「木秀于林，风必摧之」，权臣之家，盛极必衰，霍氏家族的命运是一个典型的例子。