Der gebürtige Karlsruher Dichter besuchte bis 1843 das Lyceum seiner Heimatstadt. Im Anschluss studierte in München, Heidelberg und Berlin Rechtswissenschaften und arbeitete 1848 als Sekretär des badischen Bundesabgesandten Karl Theodor Welcker in Frankfurt/M. Seit 1853 war Scheffel Rechtspraktikant in Säckingen und Bruchsal.

Auf seiner Italienreise im Jahr 1853 entstand die im darauffolgenden Jahr veröffentlichte volkstümliche Verserzählung "Der Trompeter von Säckingen", 1855 gefolgt von dem historischen Roman "Ekkehard. Eine Geschichte aus dem 10. Jahrhundert". Beide Texte bildeten den Beginn von Scheffels Aufstiegs zu einem der beliebtesten Schriftsteller des national empfindenden neuen Deutschland. Von Scheffel stammen auch studentische Lieder, die er unter anderem in der Sammlung "Gaudeamus" (1868) veröffentlichte, sowie Texte, in denen er das Mittelalter und das Vagantentum idealisierte. Zugleich sind von ihm auch mehrere hundert Zeichnungen und Aquarelle erhalten.

Seinen Wirkungskreis hatte er in München, wo er nach 1856 Anschluss an den Münchner Dichterkreis, zu dem auch Emanuel Geibel gehörte, fand, und in Donaueschingen als Archivar und Bibliothekar (1859). Im Jahr 1876 wurde Scheffel nobilitiert. Der Schriftsteller starb 1880 in seiner Heimatstadt Karlsruhe.