このような河内源氏の興隆は、時の権力者
白河法皇の警戒を招く。義家の長男・
源義親は
対馬守に任ぜられ、その後義親は反朝廷的行為などの罪を問われて追討を受けている。義家の死後、家督を継いだ
源義忠が
源義光の策謀で暗殺されると河内源氏の勢力は弱体化する。源義忠の後を継いだ
源為義が効果的な施策を打ち出せずにいた一方、白河院の寵愛を受けた
伊勢平氏傍流の
平正盛が地位を固めていったことで、武門の中で河内源氏の勢力は相対的に低下していった。
不遇を囲った源為義の子で東国に下っていた
源義朝は、
保元の乱において、河内源氏恩顧の関東の武士を糾合して天皇方に立ち、上皇方の父為義や
源為朝など弟を敵に回して勝利した。しかし、一族の多くを失った源義朝は、同じく天皇方についた平清盛と比較して勢力を伸ばすことができなかった。そのため、義朝は河内源氏の勢力回復をはかり、
藤原信頼と手を結んで
後白河上皇を幽閉、
平治の乱を起こす。一時天下を我が物にした義朝だったが、
平清盛らが秘密裏に上皇らを救出したことで形勢逆転、敗退して
京を落ち、東国へ向かう。しかし、道中で、腹心の
鎌田政清の舅になる
尾張国の
長田忠致の手にかかって殺害された。