文治元年(1185)、加藤（遠山）景廉が築城した。室町時代には景廉の子孫といわれる岩村遠山氏の本拠地だった。戦国期に入ると遠山氏は織田・武田の二大勢力に挟まれた。元亀元年（1570）城主・景任が没すると、信長の子坊丸（後の勝長）が養子となり跡を継いだ。しかし、武田氏家臣・秋山信友が侵攻し城を占拠して東濃における武田氏拠点とした。天正３年（1575）長篠の合戦後、織田信忠は岩村城を開城させ河尻秀隆を置いた。天正１０年、秀隆は甲斐に転封となり替わって団忠正が城主となったが、その直後、本能寺の変で忠正は討死した。その後、金山城主・森長可の家臣・各務兵庫に守らせた。慶長５年（1600）、森氏が信濃川中島に転封され田丸直昌が入ったが、同年の関ヶ原の合戦で西軍に属し、東軍の遠山氏らに包囲され退去した。翌慶長６年より大給松平氏が二代続き、寛永１５年（1638）より丹羽氏が五代続いた後、元禄１５年（1702）、再度大給松平氏が城主となって明治まで続いた。