追随皇帝时间较晚：郑家将的第一代郑恩在赵匡胤和柴荣还未发迹时就开始追随，是四大世家中追随最早的。呼家将的第一代呼延凤是郭威的旧将，在柴荣为帝时就与赵匡胤是同事和战友，还参与了 “陈桥兵变黄袍加身”。高怀德追随赵匡胤是在其担任柴荣驾前大元帅之时。而杨家将真正开始保宋是在刘金定金台拜帅解了寿州之围以后，此时大宋已基本完成大一统，相比其他三家，杨家将追随皇帝的时间较晚。

与皇帝关系相对疏远：呼延凤是赵匡胤多年的同事和战友，两人在战场上结下深厚感情。高怀德是赵匡胤、赵光义兄弟的亲妹夫，是皇亲国戚。郑恩是赵匡胤八拜之交的生死兄弟，赵匡胤还误杀了郑子明，对郑家心怀愧疚。而杨家与赵匡胤、赵光义等人的关系则没有这么亲近。此外，六郎杨延昭娶了先帝柴荣的女儿柴美蓉，并且与八王千岁赵德芳走得很近，这引起了赵光义及其后人的不满，毕竟赵光义的皇位是从侄子赵德芳手中抢来的，杨家与柴家、赵德芳的亲近让赵光义一脉有所忌讳。

皇帝未欠杨家 “人命债”：赵匡胤曾到高平关 “借人头”，高行周将自己的人头送给了他，赵匡胤因此欠下高家天大的人情债。赵匡胤还错杀了结拜兄弟郑恩，也欠下了郑家的人命债。太宗赵光义听信谗言，屠杀了包括双王呼延丕显在内的呼家三百余人，造成一大冤案，后来呼延庆北国借兵，寇准请回包拯才审清此案，呼延庆被封为忠孝王等。而杨家将中虽有杨继业碰死两狼山、杨七郎被潘仁美所害等悲剧，但这些都是奸臣所为，与皇帝并无直接关系，皇帝并不欠杨家的 “人命债”。

杨家牵扯案件影响皇帝印象：杨家先后卷入潘杨案、与兵部尚书王强案、杨狄案等大案，这些案件所涉之人位高权重。潘仁美出身文武双状元，追随赵匡胤比杨家还早，深受两代皇帝的器重和信任。王强才高多智，也是皇帝喜欢之人。狄青是北宋有名的大将，还是八王千岁赵德芳王妃狄娘娘的内侄，影响力巨大。杨家将与这些人产生不睦甚至生死冲突，虽最终胜诉，但肯定会在皇帝那里留下不好的印象，影响其封王。