Η ακρόπολη που δεσπόζει στην κορυφή του λόφου της χερσονήσου της Παναγίας ανοικοδομήθηκε πάνω στα απομεινάρια του παλαιότερου βυζαντινού κάστρου γύρω στα 1530. Αυτή την εποχή χτίστηκε και ο εξωτερικός περίβολος της ακρόπολης. Αυτό είχε ως συνέπεια την αύξηση της αμυντικής ισχύος του κάστρου. Για περίπου ένα αιώνα η ακρόπολη αποτελούσε το μοναδικό οχυρό στη χερσόνησο της Παναγίας. Αυτός ήταν ο λόγος άλλωστε που οι Βενετοί την κατέλαβαν το 1428 και μάλιστα την ενίσχυσαν με επιπρόσθετες οχυρώσεις. Ο εσωτερικός περίβολος της ακρόπολης αποτελούσε το πιο σημαντικό τμήμα της, διότι περιέκλειε όλους τους χώρους άμυνας. Αυτοί ήταν: η δεξαμενή του νερού, η αποθήκη πυρομαχικών και τροφίμων και ο κεντρικός κυλινδρικός πύργος. Ο εξωτερικός περίβολος ένωσε την ακρόπολη με τα μισοκατεστραμμένα περιμετρικά τείχη της χερσονήσου. Το κάστρο οικοδομήθηκε σε μία εποχή που δεν είχε ανακαλυφθεί η πυρίτιδα στον πόλεμο. Συνεπώς προοριζόταν να αντισταθεί σε επιθέσεις με βέλη, τόξα και ξίφη και όχι με πυροβόλα όπλα. Από το 1700 και μετά όλοι οι περιηγητές συμφωνούν ότι η ακρόπολη δεν θα μπορούσε να αντέξει μια ενδεχόμενη επίθεση. Από τα μέσα του 19ου αιώνα η φρουρά του κάστρου έχει περιοριστεί σε 50-60 άτομα, τα κανόνια του ήταν πολύ παλιά και η συντήρησή τους υποτυπώδης. Την ίδια εποχή, σύμφωνα με περιηγητή του 1885, το μνημείο έπαυσε να συντηρείται και παραδόθηκε στη φθορά του χρόνου. Από το 17ο αιώνα το κάστρο χρησίμευε και ως τόπος εξορίας και φυλάκισης υπηκόων του σουλτάνου. Το 1618 υπήρχαν 100 φυλακισμένοι, μουσουλμάνοι και χριστιανοί, που κρατούνταν κάτω από απάνθρωπες και άθλιες συνθήκες. Το 1759 φυλακίζεται στην ακρόπολη ο πασάς της Καβάλας, Ιμπραήμ, και το 1792 ο κοτζαμπάσης της Θάσου Μεταξάς. Στην ακρόπολη της Καβάλας ήταν εγκατεστημένο μέχρι τα τέλη του 19ου αιώνα το στρατιωτικό και διοικητικό κέντρο της πόλης. Στις αρχές του 20ου αιώνα ο Αμπάς Χιλμί της Αιγύπτου αγόρασε το άχρηστο πλέον φρούριο από τους Τούρκους προκειμένου να εγκαθιδρύσει Βιομηχανική και Βιοτεχνική Σχολή. Το σχέδιο του όμως δεν πραγματοποιήθηκε. Η ακρόπολη χρησιμοποιήθηκε για τελευταία φορά κατά τη διάρκεια του Β’ Παγκοσμίου Πολέμου από τα στρατεύματα των κατακτητών. Το 1960 ο Δήμος Καβάλας αγόρασε το κάστρο δίνοντας το ποσό των 70.000 δραχμών. Στις μέρες μας, το κάστρο διατηρείται σε σχετικά καλή κατάσταση. Τα τελευταία χρόνια τα καλοκαίρια το κάστρο χρησιμοποιείται για πολιτιστικές εκδηλώσεις. Στον εξωτερικό περίβολο έχει χτιστεί ένα υπαίθριο θέατρο τετρακοσίων θέσεων, όπου διοργανώνονται συναυλίες, θεατρικές και χορευτικές παραστάσεις, ενώ στη φυλακή φιλοξενούνται διάφορες εκθέσεις.