Η σημερινή πόλη είναι κτισμένη στην ίδια θέση με την αρχαία Ρίθυμνα ή Ρήθυμνα ή Ριθυμνία. Μαρτυρίες για την ύπαρξη της πόλης αρχίζουν από τον 5ο-4ο αι. π.Χ. και είναι κυρίως τα αργυρά και χάλκινα νομίσματα.νομίσματα, τα οποία έφεραν από τη μια όψη την κεφαλή του Απόλλωνα ή της Αθηνάς και από την άλλη τρίαινα ή δύο δελφίνια ή αίγα. Άλλες αξιόλογες μαρτυρίες δεν υπάρχουν μέχρι το 1204, οπότε οι Ενετοί αγοράζουν από τους Φράγκους κατακτητές του Βυζαντίου ολόκληρη την Κρήτη έναντι 10.000 αργυρών μάρκων.

Οι Ενετοί εκδιώκουν τους Γενουάτες του Ενρίκο Πεσκατόρε και εγκαθίστανται στο νησί, το οποίο, όμως, παραμελούν, δίνοντας μεγαλύτερη σημασία στις κτήσεις τους της ηπειρωτικής Ελλάδας και των Επτανήσων. Το 1538 ο Χαΐρ αντ Ντιν (Khair ad Din), ναύαρχος του Οθωμανικού στόλου και κουρσάρος των ακτών της Αλγερίας (Μπαρμπαριάς), γνωστότερος ως Μπαρμπαρόσα (Κοκκινογένης), επιτίθεται στο νησί. Οι Ενετοί αποφασίζουν να οχυρώσουν κάπως την κτήση τους. Κτίζουν γύρω από την πόλη τείχος μήκους 1400 μ. (σήμερα ολοσχερώς κατεστραμμένο), αφήνοντας όμως την από θαλάσσης πλευρά εκτεθειμένη.