H. entstammt einer Prager Bürgerfamilie, die regen Anteil am kulturellen Leben der Stadt nahm. Er bewunderte seinen Vater wegen dessen Bildung. Von Kindheit an wurde er musikalisch erzogen. Sein wichtigster Lehrer war der in Prag hochangesehen Komponist Tomásek. Mit 18 Jahren konnte er sich nicht für eine Musikerlaufbahn entscheiden, da es ihm nach eigenen Angaben an Talent mangelte und der Vater auf der Erlernung eines Brotberufes bestand.
Daraufhin studierte H. an der Prager Universität Jus. Die Freundschaft mit Robert Zimmermann, einem Philosoph und Schüler Herbarts und Ambros, führte zu ersten Publikationen in der Zeitschrift "Ost und West". H. schrieb im Stile J. Pauls und R. Schumanns. Eine Rezension einer Aufführung von Das Paradies und die Peri brachten ihm eine Einladung Schumanns nach Leipzig ein.
1846 übersiedelt H. nach Wien, um dort seine Studien zu beenden. In seiner Autobiographie Aus meinem Leben zeigt er sich über das damalige Niveau des Wiener Konzert- und Theaterlebens entsetzt. Bald schrieb er regelmäßig für die "Wiener Zeitung" und ab 1855 für die "Presse" (später "Neue freie Presse"). H.s. Rezension über Wagners Tannhäuser in der "Wiener Musikzeitung" fand sogar die Zustimmung des Komponisten.
1849 beendet H. sein Studium, um dann als Jurist bis 1852 in Klagenfurt tätig zu sein. Diese Zeit in der Provinz schätzte er durchaus, freute sich aber dennoch über seine Rückkehr nach Wien, wo er einen Posten im Kulturministerium erhielt.
Sein bekanntestes und auch wichtigstes Werk Vom musikalisch Schönen erschien 1855 und wurde oftmals aufgelegt und übersetzt. Das Buch wurde ihm auch als Dissertation anerkannt. Seit 1856 hielt er Vorlesungen über Musik-Ästhetik an der Universität Wien. Sowohl als musikalischer Juror (z. B. bei den Weltausstellung in Paris) als auch im Dienste des Ministeriums begab sich H. viel auf Reisen. Mit J. Brahms verband ihn seit dessen Übersiedelung nach Wien eine tiefe Freundschaft, ebenso mit dem Arzt Theodor Billroth.
Mit der Ernennung zum Professor stellte er seine Tätigkeit für das Ministerium ein. 1876 heiratete er eine sehr viel jüngere Sängerin. In dieser Zeit wurde er durch seine Konzertkritiken und seine Schriften (wie Aus dem Konzertsaal) zu einem Chronisten des Wiener und des europäischen Musiklebens. Seine polemischen Äußerungen gegen R. Wagner und die Neudeutsche Schule machten ihn weithin bekannt und umstritten. Allerdings besaß er durch seine Publikationstätigkeit soviel Macht in Wien, dass er Karrieren wie die Anton Bruckners nachhaltig negativ beeinflusste.
Den Grundstein zu seiner Theorie hatte er in dem Buch Vom Musikalisch-Schönen dargelegt. Für H. hatte Musik weder symbolischen noch Verweischarakter. H. widersprach der damals gängigen Auffassung, die durch Nikolaus Forkel im 18 Jahrhundert grundgelegt worden war, nämlich dass Musik die Sprache der Gefühle sei. H. wandte sich damit auch gegen den in der Romantik entstandenen Topos der Unsagbarkeit (Musik als Sprache jenseits der Sprache) und gegen die Programm-Musik der Neudeutschen Schule (Berlioz, Liszt, Wagner). Laut H. würden nicht Gefühle sondern deren dynamischer Aspekt wiedergegeben, wie er anhand der unterschiedlichen Textunterlegungen an Melodien von G. F. Händel zu zeigen versuchte. Für H. war Musik tönend bewegte Form; Primat in der Musik hatte in seine Augen die Melodie.