Palazzo al Piano sorge ai margini occidentali della Montagnola, sopra un’altura che domina lo spartiacque tra la Val d’Elsa e la Valle della Rosia con l’importante strada che vi transita. Esso appare, oggi, come un castello turrito, che però è soltanto una ricostruzione moderna effettuata sui resti, ancora visibili, di un castello medievale.
L’attuale torre è eretta su un basamento rettangolare a scarpa, certamente di origine medievale, che presenta sul lato est un’arciera ben conservata. Inoltre, inglobato nello scantinato della costruzione attuale, sul fronte ovest, esistono altre strutture, costituite da un muro esterno a scarpa, che poi si prolunga verso l’interno in due successivi angoli retti con due muri dello spessore di circa due metri, determinanti uno spazio piuttosto ristretto. Un breve tratto del muro perpendicolare a quello esterno prosegue anche al piano superiore. Si potrebbe dunque pensare che questo, insieme al basamento della torre, sia quanto restava delle strutture medievali al tempo della ricostruzione.
Sulle origini di Palazzo al Piano restano forti incertezze (il toponimo è di origini recenti). Tra le ipotesi formulate c’è quella che potesse appartenere alla comunità di Pieve a Molli.