Το πιο επιβλητικό μνημείο του παρελθόντος που δεσπόζει της σημερινής Σητείας είναι το φρούριο του Κάστρου γνωστό σήμερα σαν Καζάρμα από το Casa di Arma. Οι ντόπιοι πιστεύουν λανθασμένα ότι αυτό είναι το Κάστρο της Μεσαιωνικής πόλης, ενώ το Κάστρο στα Μεσαιωνικά χρόνια λέγεται κάθε περιτειχισμένη πόλη μέσα στην οποία βρίσκονται όλα τα δημόσια και πολλά ιδιωτικά κτήρια κυρίως ευγενών και αρχόντων. Έτσι η Καζάρμα ήταν ο στρατώνας της φρουράς ή το διοικητήριο ένα δηλ. από τα οικοδομήματα της Μεσαιωνικής Σητείας η οποία περιβαλλόταν  με τείχος. Βασισμένοι σε χάρτες της εποχής των Ενετών, σε μικρά τμήματα του κοντά στις ρωμαϊκές ιχθυοδεξαμενές και σε μαρτυρίες ιδιοκτητών παραλιακών οικοπέδων το τείχος της πόλης εκτεινόταν από το νότιό του μέρος προς την μεριά της θάλασσας από τις ρωμαϊκές ιχθυοδεξαμενές, λίγο πιο πέρα από το σημερινό Τελωνείο, μέχρι την θέση που είναι σήμερα το κέντρο Ζορμπάς μετά έστριβε προς τα βόρεια  από τη γωνία των οδών Βενιζέλου και Καζαντζάκη και κορυφωνόταν στο πάνω μέρος της Καζάρμας όπου συναντούσε και τον ανατολικό βραχίονά του.

Οπωσδήποτε τα τείχη και η Καζάρμα  έχουν γίνει αρχικά τα τελευταία βυζαντινά χρόνια. Η πρώτη επιδιόρθωση της οχυρώσεως έγινε το 1204 από τον Γενοβέζο Ερρίκο Pescatore.
Οι Ενετοί έκαναν πολλές επιδιωρθώσεις το 1303, 1450 και ιδίως μετά το φοβερό σεισμό του 1508 για να επακολουθήσει η επιδρομή του Μπαρμπαρόσα το 1538 όπως είπαμε πιο πάνω που προξένησε στα τείχη τόσες μεγάλες καταστροφές ώστε οι Ενετοί κυβερνήτες Σφορτσα Παραβιτσίνι και Ιούλιος Σαβοργάν ζήτησαν την ισοπέδωσή των πράγμα που ανάγκασε τους ίδιους τους κατοίκους το 1586 να συμβάλλουν οικονομικά για τις ανάγκες της οχύρωσης με 1500 δουκάτα. Η ιδέα της ισοπέδωσης των τειχών έρχεται. Πάλι στην επικαιρότητα όταν το προς την θάλασσα τμήμα δεν είναι δυνατόν να επιδιορθωθεί τελείως. Οι βάϊλοι της Σητείας Gerolemo Bemb και Hannibale Gorgara αντιδρούν και επιτυγχάνουν να μην πραγματοποιηθεί η καταστροφή του Κάστρου. Το 1626 ο προβλέπτης Trevisan δηλώνει πως η Σητεία είναι σχεδόν ανοχύρωτη πόλη. Επί του διαδόχου του Francisco Morosini η Βενετία στέλνει χρήματα και μηχανικούς για την επιδιόρθωση της οχυρώσεως, δυστυχώς όμως είναι πολύ αργά όπως είπαμε πιο πάνω και αφού απομακρύνθηκαν οι κάτοικοι η φρουρά αμύνθηκε μέχρι το 1651 οπότε αποχώρησε και η πόλη κατεδαφίστηκε.
Στην Τουρκική κατάκτηση φαίνεται πως δεν ξανακτίστηκαν τα τείχη αλλά η Καζάρμα αναστηλώθηκε και σήμερα μπορεί να δει κανείς τις τουρκικές προσθήκες μεταξύ των οποίων τους κουμπέδες πάνω στις επάλξεις, τα φυλάκια δηλ. του φρουρίου.

Όλο το φρούριο βρίσκεται σε υπερυψωμένο επίπεδο για να δεσπόζει. Με δύο σκάλες μια στα Δ και μια στα Α ανεβαίνεις και βρίσκεσαι μπροστά από την Ν.Καμαρωτή είσοδο, την κυρία είσοδο του φρουρίου. Πάνω από την πόρτα υπάρχει φυλάκιο τουρκικό (κουμπές). Μετά εισέρχεται σε μια ευρύχωρη αυλή όπου αφού περάσεις δύο ανισόπεδα κρηπιδώματα με δύο σκάλες βρίσκεται μπροστά στο κυρίως κτήριο. Στα ανατολικά του μέσα στην αυλή υπάρχει κτήριο με 3 δωμάτια από τα οποία το ένα είχε σαμαρωτή στέγη. Ίσως είναι Τουρκικά κτίσματα.

Στα δυτικά, στο αντίστοιχο σχεδόν σημείο υπήρχε άλλο μικρότερο κτήριο που είναι τώρα γκρεμισμένο και ίσως επρόκειτο για μαγειρείο αφού υπάρχει ένα πολύ πλατύ τζάκι. Πάνω από τα ανατολικά διαμερίσματα υπάρχει κουμπές και μεταξύ αυτών και του κυρίως κτηρίου άλλη, η ανατολική είσοδος. Η πρόσοψη του κυρίως κτηρίου έχει μια μακρόστενη πόρτα με ένα τετράγωνο άνοιγμα πάνω της και 4 παράθυρα πιο πάνω. Αφού ανέβεις σκάλα με 16 σκαλοπάτια όπου βρίσκεσαι στον πρώτο όροφο.

Στους τοίχους γύρω υπάρχουν τριγωνικές πολεμίστρες εκτός από την πλευρά της προσόψεως. Πιο πάνω διακρίνονται οι τρύπες που στήριζαν τα δοκάρια της στέγης που αποτελούσαν συγχρόνως και το πάτωμα του δευτέρου ορόφου.

Στο δεύτερο πάτωμα υπάρχουν πάλι πολεμίστρες και οι τρύπες για τα δοκάρια της οροφής γύρω από την οποία υψωνόταν οι επάλξεις. Στη ΒΔ γωνιά υπάρχει φυλάκιο. Στην αυλή που περιβάλλεται από τείχος που σε ορισμένα σημεία φθάνει τα 5μ. υπάρχουν επάλξεις εκτός από τη πλευρά της νοτίας εισόδου. Η Καζάρμα έχει αναστηλωθεί με προσοχή και σύστημα. Πρέπει οπωσδήποτε να υλοποιηθεί η μελέτη για τη στέγαση του πύργου για να προστατευθεί το κτήριο και να αξιοποιηθεί ως μουσειακός χώρος.