文明12年頃(1480)、源平合戦で名を馳せた熊谷直実の子孫によって築城。享禄2年(1529)、三河統一を目指す松平清康が侵攻し、熾烈な戦いの末、落城する。その後、天文14年(1545)今川義元が城を落とし、家臣の近藤満用が在城。永禄11年(1568)、徳川家康の遠江侵攻に伴い家康に属した満用は、武田軍の攻撃を受けるが守り抜き、柿本城(鳳来町)に移り、井伊直虎を支えた井伊谷三人衆の一人として活躍する。