Les ruïnes del castell s’alcen en una plana del vessant meridional de Montagut. Del castell queden notables restes de murs i torres una circular i tres rectangulars. En la part central s’aixeca un mur d’uns 10 metres, segurament el que resta de la torre de l’homenatge de planta rectangular, amb una obertura que havia sigut un finestral.
Les muntanyes de les Gavarres constitueixen, junt amb el de Begur, l’extrem septentrional de la serralada litoral catalana. Té la forma d’un gran arc que s’obre fins al nord, a cavall entre les comarques del Baix Empordà i el Gironès, i una extensió propera als 350 km quadrats.