本城跡がある山は、俗に要害山（ようがいざん）と言われ、その頂上に西山城が築城されており、東西約1km南北約2kmにわたり、本丸跡、二の丸、三の丸や出丸跡、大手、搦手（からめて）等がはっきりと残っている。文治（ぶんじ）元年（1185）、源頼朝の重臣市川行房により築かれ、その後天文（てんぶん）2年（1533）毛利家の家臣で備後西城主の宮高盛（みやたかもり）によって修築された。天正（てんしょう）年間（1573−1592）、尼子・毛利の備中合戦の折りに落城したと言われる。鎌倉時代において、この地域は吹屋街道の要地として大いに栄えた。