Το Κάστρο είναι ο παλαιότερος οικισμός, φρούριο του νησιού για προστασία από τους πειρατές χτίστηκε στα πρώτα χρόνια της λατινοκρατίας τον 15ο αιώνα.

Είναι χτισμένο στο χείλος του γκρεμού 280 μέτρα πάνω από τη θάλασσα.

Εδώ χτυπάει η καρδιά του τόπου: η Πλατεία, το Δημαρχείο, Το ιατρείο, τα μαγαζιά και τα καφενεία είναι το κέντρο της κοινωνικής ζωής του νησιού. Με έναν περίπατο μέσα στον οικισμό θα θαυμάσετε παλιά αρχοντικά, το επίχρυσο ξυλόγλυπτο τέμπλο στην εκκλησία της Παντάνασσας που βρίσκεται στην πλατεία του Κάστρου. Λίγο ποιο πάνω ενωμένο πια με το Κάστρο είναι Το Βουνί, βρίσκεται στην άκρη του γκρεμού και αγκαλιάζει τη βόρεια πλευρά του οικισμού. Το Βουνί ήταν το γεωργικό κέντρο του νησιού, με μύλους, λιοτρίβια και άλλα.