永正5年(1508)、菅沼元成が築城し、天正3年(1575)徳川家康が奥平貞(信)昌を城主に据える。愛知県から長野県、静岡県北部、さらに山梨県へ通じる道中にあり、戦国時代は武田と徳川が拠点として奪い合う城だった。豊川と宇連川が合流する断崖上にあり、この川を堀として巧みに利用しているため、天然の地形を上手く使った要害であることが分かる。隣接する保存館では、奥平氏の血染めの陣太鼓などを見ることができる。