築城は古く、平安末期から鎌倉初期に、この地の勢力だった設楽氏によるものとされている。設楽氏は、戦国期には今川義元・氏真に属すが、義元が戦死し氏真の代になると、菅沼氏や西郷氏ら有力豪族とともに徳川氏に属すようになる。そして、戦国末期になると、伊藤左京がこの地に台頭し居城。この地域は武田氏滅亡まで、徳川・武田の衝突地として軍事的緊張が続いており、戦国末期に改修されて現在の形になったと考えられている。