15世紀半ばに鵜殿氏の拠点となり(「蒲郡市史」より)、永禄5年(1562)の上ノ郷城の合戦で松平元康(後の徳川家康)に攻められ、落城する。その後は。久松利勝がこの地を治めた。当初、堅い守りにさえぎられて、松平方に大きな損害が出たが、永禄5年2月4日、夜陰に乗じて元康配下の忍者が上ノ郷城内に忍びこんで火をつけ、城中が混乱したところを攻め落としたと伝えられる。忍者による城攻めが記録に残っている例としては、最古とされている。城跡の南東には、式内社・赤日子神社が鎮座している。