Seit seinem Eintreffen in Weimar im Juni 1823 bis zu Goethes Tod im März 1832 und weiter bis 1848 verfasste Eckermann mit dem Ziel, ein literarisches Kunstwerk zu schaffen, die berühmten "Gespräche mit Goethe in den letzten Jahren seines Lebens". Darin übernahm er oft die Rolle des naiv fragenden, aber sachkundigen Gesprächspartners, der Goethe durch Frage, Antwort und kritisches Nachfragen geschickt allerlei Gedanken und Stellungnahmen entlockte (s. dazu auch die Urteile Christian Morgensterns und Friedrich Nietzsches). In einfühlsamer, wohlwollender Weise und oft geradezu lyrischem Stil, dennoch durchstrukturiert und auf das Wesentliche fokussiert, beleuchtete Eckermann dann in der Niederschrift der Unterhaltungen einzelne Facetten des alten Goethe, etwa besondere Wesenszüge, den Hintergrund einiger seiner großen Werke, seine Einstellungen zu berühmten Persönlichkeiten sowie ihren Taten und Werken oder zu philosophischen und politischen Fragen.

Auf Wunsch Goethes wurde das von ihm autorisierte Werk erst nach seinem Tode veröffentlicht. Der Leipziger Verleger F. A. Brockhaus brachte es im Jahre 1836 heraus (Bände 1 und 2). Zwölf Jahre später, im Jahre 1848, erschien ein dritter Band bei einem Magdeburger Verlag. Einer frühen ersten englischen Übersetzung der "Gespräche" aus der Mitte des Jahres 1839 folgte eine weitere im Jahre 1850. Heute liegt das Werk überdies u. a. in französischer, italienischer, russischer, spanischer, schwedischer, dänischer, niederländischer, tschechischer, ungarischer, japanischer und türkischer Sprache vor. In den Titeln einiger fremdsprachlicher, aber auch deutscher Ausgaben (z. B. Deibel, Hrg., 1908) wurde die Hierarchie zwischen den beiden Männern "zurechtgerückt": Sie wurden eigenmächtig in "Goethes Gespräche mit Eckermann" umbenannt (z. B. "Conversations of Goethe with Eckermann", 1850, "Conversations de Goethe avec Eckermann", 1941).

Johann Peter Eckermann Gespräche mit Goethe in den letzten Jahren seines Lebens Titelseite der Erstausgabe von 1836 mit den Teilen eins und zwei. Der dritte Teil erschien 1848.

In der "Vorrede" vom 31. Oktober 1835, die Eckermann den "Gesprächen" voranstellte, erklärte er, »dass diese Gespräche für Leben, Kunst und Wissenschaft nicht allein manche Aufklärung und manche unschätzbare Lehre enthalten, sondern dass diese unmittelbaren Skizzen nach dem Leben auch ganz besonders dazu beitragen werden, das Bild zu vollenden, was man von Goethe aus seinen mannigfaltigen Werken bereits in sich tragen mag.« Allerdings sei er »weit entfernt [...] zu glauben«, dass damit »nun nun der ganze innere Goethe gezeichnet sei.«

Die Gespräche im ersten Bande aus dem Jahre 1823 geben nicht nur Aufschluss über das Verhältnis zwischen Goethe und Eckermann, sondern alle drei Bände werfen nebenbei auch ein Licht auf das bescheidene Wesen ihres Autors, zeigen sie doch, dass Eckermann sich in dem Bewusstsein seiner lückenhaften Bildung dort klug zurückhielt, wo er nicht mitreden konnte, sich ggf. vor oder nach einem Besuch bei Goethe über ein Thema informierte und sich nur zu solchen Themen äußerte, von denen er meinte, hinreichend kompetent zu sein (vgl. dazu die nachfolgend aufgeführten Gespräche). Mit seiner gradlinig-naiven, bisweilen auch devoten Art bot Eckermann Kritikern, wie etwa Friedrich Hebbel, gewiss eine breite Angriffsfläche, doch verkannten diese Leute bei ihren abwertenden Urteilen die Absichten, die Eckermann mit den "Gesprächen" verfolgte. Christian Morgenstern verteidigte Eckermann daher in sehr treffender Weise.

Eckermann selber äußerte sich zu seiner Arbeit an den "Gesprächen" mit freudiger Genugtuung: »Meine Arbeit rückt langsam vor, aber es wird auch etwas sehr Gutes. [...] Goethe, dem ich vor einigen Tagen die ersten Gespräche zeigte, ist sehr erbaut davon und findet die Arbeit vortrefflich. Ich werde [...] sicher [...] nicht allein in Deutschland, sondern auch in Frankreich und in England dadurch einen guten Namen bekommen.« (Eckermann in einem Brief an seine Verlobte Johanne Bertram vom 6. Juni 1825).

Im dritten Band verarbeitete Eckermann ca. siebzig Aufzeichnungen seines Freundes Frédéric Soret (1795 - 1865), die dieser über seine Besuche bei Goethe zwischen 1822 und 1832 angefertigt und Eckermann 1841 zur Verfügung gestellt hatte.