高梁川と谷内川の合流地点を南に望む標高約430ｍの尾根頂部に立地している。頂部付近の曲輪群Ⅰとその北側の曲輪群Ⅱがあり、規模は自然地形を合わせると、南北約320ｍに及び。曲輪群Ⅰは全長約150ｍで、最頂部の主郭から南側に7つの曲輪を配している。曲輪群Ⅱは全長約70ｍで、頂部に長さ約20ｍの曲輪とその西側に腰曲輪を配している。城主は、天正2・3年（1574・1575）の備中兵乱時に三村元範の配下で、新見国経の被官であった冨谷大炊助が居城していた。主要街道の合流地点にあることから、北のゆずりは城と連携して新見荘の北端を防衛する役割と担っていたと考えられている。