Il Palazzo Castriota, dimora della nobile famiglia albanese Castriota Scanderbeg, è costituito da tre piani la cui struttura architettonica presenta evidenti segni tardogotici del XV secolo.
Al di sotto dell’edificio era situata la chiesa dello Spirito Santo costruita sul corso del fiume nel 1576. Di questa chiesa, che fino al 1939 fu anche sede della Confraternita dei Cartari, oggi rimane soltanto un massiccio muro con una serie di archi intrecciati, resti di un piccolo chiostro duecentesco.
Il palazzo ha subito numerosi restauri ed ampliamenti; all’esterno, due grandi colonne sostengono un balcone decorato da trabeazioni e fregi in marmo. L’androne interno è coperto da volte a crociera, il cui spazio è scandito da archi acuti, con rocchi di colonne, capitelli di spoglio di età romana e numerosi stemmi in marmo incassati nelle pareti. Sulla parete frontale dell’androne, due affreschi realizzati negli anni Trenta dal pittore amalfitano Ignazio Lucibello, allievo di Pietro Scoppetta, raffigurano il discorso del re Ruggero II agli amalfitani nella piazza della città, e i Cavalieri di S. Giovanni di Gerusalemme che combattono contro i Turchi in difesa del Santo Sepolcro.