Στην οδού Πολυγνώτου 13 βρίσκεται η ιστορική οικία Κωλέττη, ένα από τα αρχαιότερα Αθηναϊκά σπίτια της Πλάκας. Η τοποθεσία του ήταν στο Ριζόκαστρο, στο πιο αριστοκρατικό «πλάτωμα» της Αθήνας, όπως ονομάζονταν οι συνοικίες κατά τον Μεσαίωνα. Ήταν στο υψηλότερο σημείο της πόλης και, σύμφωνα με τον Δημήτριο Καμπούρογλου, τον 11ο αιώνα περιβαλλόταν από κάστρο που προστάτευε την περιοχή από τις επιδρομές των Σαρακηνών.
Ένα μεγάλο μέρος του Ριζόκαστρου είχε ενταχθεί στα αρχικά σχέδια για τις απαλλοτριώσεις που ήταν απαραίτητες για τις ανασκαφές και την ανάδειξη των αρχαιοτήτων οι οποίες θα έδιναν αίγλη στη νέα πρωτεύουσα. Εξαιρέθηκε όμως το 1834, όταν αρμόδιος υπουργός ήταν ο πανίσχυρος Ιωάννης Κωλέττης (1774-1847), ο οποίος έκανε πολλές χάρες για να ικανοποιήσει αιτήματα επωνύμων φίλων του που ήθελαν να μη θιγούν οι ιδιοκτησίες τους.
Ο αμφιλεγόμενος πολιτικός είχε γεννηθεί στο Συρράκο της Ηπείρου και είχε σπουδαία μόρφωση σε Πανεπιστήμια της Ιταλίας. Γύρω στο 1810 επέστρεψε στα Γιάννενα και έγινε προσωπικός γιατρός του Μουχτάρ, γιου του Αλή πασά. Στην αυλή του «ειδικεύτηκε» στην ίντριγκα και απέκτησε πολύ μεγάλη περιουσία, στοιχεία που δεν τον εμπόδισαν το 1891 να ενταχθεί στη Φιλική Εταιρεία και να διαδραματίσει πρωταγωνιστικό ρόλο στην Επανάσταση του 1821.
Ο Ιωάννης Κωλέττης ήταν ο πρώτος πρωθυπουργός της Ελλάδας από το 1834 έως το 1835 και από το 1844 έως το 1847 και έμεινε στη συγκεκριμένη οικία όταν ανέλαβε τα πρωθυπουργικά του καθήκοντα. Ο αρχικός ιδιοκτήτης του ήταν ο εκ Καλαβρύτων γιατρός Κωνσταντίνος Ζωγράφου (1796-1851), που είχε παντρευτεί την κόρη του ηγεμόνα της Βλαχίας Μιχαήλ Βόδα Σούτζου. Οι δρόμοι που οδηγούσαν στο αρχοντικό γέμιζαν πολίτες που ήθελαν να συναντήσουν τον Κωλέττη, άλλοι για να ζητήσουν κάποιο ρουσφέτι και άλλοι για να συζητήσουν μαζί του την πολιτική κατάσταση της χώρας.
Ο καθηγητής του Πολυτεχνείου Σόλων Κυδωνιάτης, στο βιβλίο του «Αθήναι, παρελθόν και μέλλον», αναφέρει ότι το σημερινό κτίριο είναι κατασκευή του 1870 και σχεδιάστηκε από τον μηχανικό Αντώνη Μαναράκη, που ήταν και ο ιδιοκτήτης του. Πολιτογραφήθηκε όμως ως «οικία του στρατηγού Κωλέττη», παρόλο που ο Ηπειρώτης πολιτικός δεν υπήρξε στρατηγός. Ίσως γι’ αυτό το βιβλίο κάνει λόγο για «το λεγόμενο σπίτι του φερόμενου “στρατηγού” Κωλέττη».
Τον Μάρτιο του 1960, με απόφαση του υπουργείου Πολιτισμού, το διώροφο αρχοντικό κηρύχθηκε διατηρητέο μνημείο. Αφέθηκε όμως στην τύχη του και στα μέσα της δεκαετίας του 1980 ήταν ένα από τα πρώτα ακίνητα στην Πλάκα που είχε απαλλοτριώσει η Μελίνα Μερκούρη. Οι σεισμοί που έπληξαν την Αθήνα το 1981 και το 1999 του έχουν προκαλέσει σοβαρά προβλήματα στατικότητας.
Το 2007 και αντίστοιχα το 2012 ξεκίνησαν αναστηλωτικές εργασίες, που διακόπηκαν πρόωρα, με αποτέλεσμα το κτίριο να έχει χάσει πολλά από τα διακοσμητικά του στοιχεία και να αφεθεί στη λήθη του χρόνου.
Οι παλαιότεροι σχεδιασμοί προέβλεπαν στην αξιοποίηση του διώροφου αρχοντικού των περίπου 500 τετραγωνικών για τη στέγαση του αρχείου Καβάφη, αλλά το 2013 με απόφαση της τότε κυβέρνησης, μεταβιβάστηκε στο ΤΑΙΠΕΔ για να πουληθεί μαζί με άλλα ιστορικά κτίρια της Πλάκας, παρόλο που αποτελούν χαρακτηριστικά δείγματα της αθηναϊκής αρχιτεκτονικής του 19ου αιώνα. Με νομοθετική ρύθμιση του 2016 επέστρεψαν στην Εταιρεία Ακινήτων του Δημοσίου (ΕΤΑΔ).
Η οδός Πολυγνώτου, που φέρει το όνομα του σπουδαίου ζωγράφου του 5ου π.Χ. αιώνα, συνδέεται πολλαπλώς με τη Μελίνα Μερκούρη, καθώς στο διπλανό διατηρητέο στεγάζεται το ίδρυμα που φέρει το όνομά της. Στην απέναντι πλευρά βρίσκεται το νεοκλασικό όπου γυρίστηκε η «Στέλλα». Ήταν το σπίτι της πρωταγωνίστριας και στην εμβληματική ταινία του Μιχάλη Κακογιάννη αποτυπώνονται πλάνα της γύρω περιοχής.
Η πρώην οικία του Ιωάννη Κωλέττη μετά την αποκατάσταση και συντήρηση της εικάζεται ότι θα στεγάσει τα μοναδικά χειρόγραφα, τα βιβλία και πολλά προσωπικά αντικείμενα του ποιητή Κωνσταντίνου Καβάφη.
