Το 2ο Γυμνάσιο Ρεθύμνης έχει τις ρίζες του στο αρχικό «Γυμνάσιον Αρρένων Ρεθύμνης», το οποίο θεμελιώθηκε το 1928 και εγκαινιάστηκε το 1932 ως ένας σημαντικός «Οίκος Παιδείας» για την πόλη. Το 1955, λόγω της αύξησης των μαθητών και των εκπαιδευτικών αναγκών, το σχολείο διαχωρίστηκε σε δύο ξεχωριστές μονάδες: το Πρώτον και το Δεύτερο Οκτατάξιον Γυμνάσιον Αρρένων Ρεθύμνης. Από αυτόν το διαχωρισμό προέκυψε και το 2ο Γυμνάσιο. Στην «Εφημερίδα της Κυβερνήσεως του Βασιλείου της Ελλάδας» δημοσιεύεται το Διάταγμα του Βασιλιά Παύλου: «Περὶ διαιρέσεως τῶν Γυμνασίων Πιερίας, Κιλκίς, Μεσολογγίου, Άρτης, Καλαμῶν καὶ Ρεθύμνης. Διαιρούμεν τὰ Γυμνάσια ἀρρένων Άρτης, Καλαμῶν καὶ Ρεθύμνης εἰς Α΄ καὶ Β΄ Γυμνάσια Αρρένων. Ταῦτα ἀπὸ τοῦ σχολικοῦ ἔτους 1955–56 θὰ λειτουργήσωσιν ὡς πλήρη καὶ αὐτοτελή Α΄ καὶ Β΄ Γυμνάσια ἀρρένων ἐν ἑκάστῃ τῶν πόλεων τούτων. (Ἐν Αθήναις τῇ 4 Οκτωβρίου 1955)».

Σταδιακά, το εκπαιδευτικό σύστημα εξελίχθηκε, και τα σχολεία λειτούργησαν αρχικά ως εξατάξια και στη συνέχεια διαχωρίστηκαν σε τριτάξια Γυμνάσια και Λύκεια. Από το σχολικό έτος 1979 έως 1980, τα σχολεία έγιναν μεικτά, δεχόμενα πλέον και αγόρια και κορίτσια.

Καθοριστική στιγμή για το 2ο Γυμνάσιο υπήρξε το σχολικό έτος 1980-1981, όταν αποσπάστηκε από το ιστορικό κτίριο και μεταστεγάστηκε, μαζί με το 2ο Λύκειο, σε νέο, σύγχρονο κτιριακό συγκρότημα. Η μετεγκατάσταση αυτή σηματοδότησε μια νέα περίοδο ανάπτυξης, με καλύτερες υποδομές και αυξημένες δυνατότητες για την εκπαιδευτική διαδικασία.
Σήμερα, το 2ο Γυμνάσιο συνεχίζει την πορεία του ως ένα σύγχρονο σχολείο, διατηρώντας παράλληλα τη σύνδεσή του με τη μακρά ιστορία και την εκπαιδευτική παράδοση της περιοχής.