永正年間（1504-20）、遊城坊綱清が築城した。遊城坊は代々宇都宮氏一族が出家して住職となり、板橋郷・栗山郷等を社領とした。天文年間（1532-55）、鹿沼城主で日光山惣政所職にあった壬生綱房は、遊城坊綱清らが宇都宮氏に加担して一族を集めているのに不安を感じ、小田原北条氏に加勢を求めた。北条氏家臣・豊島郡東山の城主板橋将監親棟は壬生氏応援のため派遣され、板橋城を攻撃し綱清を滅ぼして城主となった。壬生嫡流は日光山、更に北条氏と結んで宇都宮氏と対抗し、板橋城は日光山側の重要な拠点として山城と館が整備された。天正１８年（1590）豊臣秀吉の小田原攻めの際、板橋氏は小田原に出陣したが敗北した。板橋氏滅亡後、日光山領は秀吉に没収され結城秀康領となったが、慶長５年（1600）秀康は越前へ転封となり、松平一成が入って板橋藩１万石が成立したが、東照宮建造に伴い、この付近一帯が御神領となったため廃城となった。