Las ruinas del castillo se alzan en un rellano de la vertiente meridional de Montagut. Del castillo quedan notables restos de muros y torres, una circular y tres rectangulares. En la parte central se levanta un muro de unos 10 metros, seguramente lo que resta de la torre del homenaje de planta rectangular, con una abertura que había sido un ventanal.
Las montañas de las Gavarres constituye, junto con el de Begur, el extremo septentrional de la cordillera litoral catalana. Tiene la forma de un gran arco que se abre hacia el norte, a caballo entre las comarcas del Baix Empordà y el Gironès, y una extensión cercana a los 350 kilómetros cuadrados.