Castello e successivamente borgo fortificato, è situato sulla sommità di un colle formato da calcare e pietra serena.
Fu ubicato in posizione strategica di primaria importanza (per l'epoca in cui ha avuto questa funzione), come difesa alla fenditura che il letto dl torrente Foenna crea tra le colline e che consentiva più facile accesso dalla Valdichiana al cuore del territorio senese.
Probabilmente ha origine romana, ma con l'ubicazione alla base del colle presso il torrente già citato; successivamente per ragioni di salubrità e per l'espletamento della funzione sopra indicata venne spostato più in alto e visse i momenti di gloria e le vicissitudini comuni agli altri castelli di confine dello Stato senese.
La visita si impone perchè Rigomagno, è forse, la testimonianza più chiara dei criteri di costruzione dei centri urbani senesi che si affacciano sulla valle della Chiana e risale al tredicesimo secolo.
Nonostante gli urti e le trasformazioni del tempo, è leggibilissima la strutturazione basata su tre vie parallele in senso longitudinale e su un collegamento, perpendicolarmente trasverso, in modo da avere esattamente nel punto di intersecazione centrale il palazzo (già sede del comune) con la torre (ristrutturata nel 1910), la chiesa e la cisterna.
La chiesa ha una struttura di impianto romanico ad una navata; di buona linearità evidenzia ripetuti interventi (gli ultimi - particolarmente sulla parte esterna di sinistra - anche se in stile sono stati eseguiti agli inizi del secolo scorso).
Tracce delle mura sono ben indiduabili, almeno nella parte basale, in diversi punti e per un buon tratto, più integro, verso nord; in esso sono inserite due torri semicircolari di cui una abbastanza alta. Percorrendo la strada di circonvallazione altri resti di torri si possono vedere tra gli olivi e l'insieme è veramente suggestivo. Sul borgo svetta la grossa mole del serbatoio dell'acquedotto costruito nel 1933. Le costruzioni più recenti non hanno imponenza tale da soffocare questa perla lasciataci quasi intatta da un lontano passato anche perchè per la maggior parte sono state costruite in prossinità della stazione ferroviaria di Rigomagno.