Το φρούριο του κάστρου γνωστό σήμερα σαν Καζάρμα (Casa di arma), είναι το πιο επιβλητικό μνημείο του παρελθόντος στην πόλη της Σητείας.
Η Καζάρμα ήταν ο στρατώνας της φρουράς ή το διοικητήριο, ένα δηλαδή από τα οικοδομήματα της Μεσαιωνικής Σητείας η οποία περιβαλλόταν με τείχος.
Η οχύρωση της πόλης και η Καζάρμα χρονολογούνται στα τελευταία βυζαντινά χρόνια.
Οι πειρατικές όμως επιδρομές, οι συχνές επαναστάσεις των κατοίκων κατά τη διάρκεια της ενετικής κατοχής ακόμα και οι σεισμοί επέφεραν αλλεπάλληλες καταστροφές στα τείχη και στην Καζάρμα, μέχρι που οι ίδιοι οι Ενετοί αναγκάστηκαν να τα καταστρέψουν με σκοπό να τα επιδιορθώσουν. Αυτό τελικά δεν έγινε και το 1651 η πόλη κατεδαφίστηκε και έπειτα κατακτήθηκε από τους Τούρκους.
Στην περίοδο της τουρκικής κατάκτησης τα τείχη φαίνεται ότι δεν ξαναχτίστηκαν αλλά η Καζάρμα αναστηλώθηκε και σήμερα διακρίνονται οι τουρκικές προσθήκες, όπως οι κουμπέδες πάνω στις επάλξεις, δηλαδή τα φυλάκια του φρουρίου.
Η Καζάρμα σήμερα έχει αναστηλωθεί προσεκτικά και είναι ανοικτή στο κοινό προσφέροντας μια πανοραμική θέα στον κόλπο και την πόλη της Σητείας.
Κατά την καλοκαιρινή περίοδο στον ειδικά διαμορφωμένο χώρο της γίνονται πολιτιστικές εκδηλώσεις (Κορνάρεια), όπως θεατρικές παραστάσεις, συναυλίες, διαλέξεις, εκθέσεις εικαστικών τεχνών κ.λ.π.