고산의 둘레를 따라 위치하고 있는 토성으로 현재 토성의 흔적이 가장 뚜렷하게 남아 있는 곳은 서쪽과 남쪽 일대이다. 서쪽의 경우 급경사를 이루는 기존지형을 잘 이용하여 원지형을 일부 깎아 그 흙으로 상단에 둔덕을 조성하는 삭토법으로 성벽을 조성한 것으로 판단되고, 그러한 둔덕의 양상은 특히 서남쪽에 잘 남아 있다. 남쪽의 경우는 주로 산등성이를 따라 높이 3~4m의 둔덕이 확인되고, 이는 서쪽과 달리 판축 혹은 성토법으로 성벽을 조성한 것으로 판단된다. 토성의 흔적이 잘 확인되지 않는 북쪽과 동쪽은 지형적 여건을 고려하였을 때, 방어적 측면에서 유리한 단애면 상단을 따라 토성을 축조 하였을 가능성이 있는 것으로 판단된다. 기존에 추정한 북동쪽의 토성 흔적은 그 외연이 안쪽으로 연결되어 이어지면서 하나의 `내성(內城)`과 같은 형태를 띤다. 실제 해발 91.8m 능선 일대에 동서로 가로지르는 둔덕이 뚜렷하게 남아 있고, 그 안쪽은 주변 지표면보다 1m 이상 높게 평탄대지상의 지형이 관찰된다. 그 주변에서는 삼국시대 토기편과 통일신라시대 기와편이 다수 확인되는 점으로 보아, 해당 시기 건물지나 관련 시설이 존재하였을 가능성이 높은 것으로 판단된다.