Villa Rufolo è costituita da un vasto complesso di strutture, riconducibili al modello del palazzo-giardino, non tutte cronologicamente contemporanee e che sono state arricchite di nuovi ambienti fino al termine del XVIII secolo.
Le due torri quadrate, di cui la più piccola contiene l’ingresso attraverso un arco a sesto acuto che immette in un viale alberato ed è coperta da una cupola ad ombrello, non servivano alla difesa dai nemici ma assecondavano il progetto del palazzo-giardino di chiara impronta islamica.
Al termine del viale alberato, alla cui destra resti di pilastri fanno supporre l’esistenza di alcune sale ora crollate ma un tempo sicuramente situate tra quella struttura che oggi è chiamata cappella e l’ingresso, si giunge al nucleo originario del palazzo, risalente al XIII secolo, costituito dal cortile moresco, il cui ingresso è da ravvisare in quello costruito in tufo giallo, abbellito da volute; il cortile è a pianta rettangolare, con una galleria doppia su tre lati e con una successione di ambienti in alzato molto complessa, soprattutto dopo i lavori di contenimento dei crolli successivi al terremoto del novembre 1713.
Dall’alto del terrazzo è possibile ammirare il giardino sottostante, opera di uno dei tanti proprietari della villa, lo scozzese Nevile Reid, il quale, spianando i ruderi delle vecchie strutture, creò i vari terrazzamenti.
Interessante la cosiddetta sala da pranzo, a livello del giardino intermedio, divisa longitudinalmente in due parti da una serie di cinque archi su colonne; la copertura è affidata a volte a crociera.
Annessa alla villa, accanto all’ingresso, la cosiddetta cappella presenta ancora la decorazione della facciata con archi intrecciati ciechi su colonne binate.
La ricchezza e la complessità della pianta sono dovute al fatto che la villa costruita dalla ricca famiglia Rufolo, nota dai documenti a partire dal XI secolo (ad essa apparteneva il Landolfo, la cui avventura è descritta in una novella del Decamerone dal Boccaccio), appartenne ai Muscettola, ai Gonfalone e, dopo un periodo di disastroso abbandono, a Reid, che la trasformò per ricreare un ambiente ancora più ricco.