Der 23. Juli 1829 kann als Gründungstag der heute dem Obersten Gerichtshof unterstehenden Zentralbibliothek angesehen werden. An diesem Tag wurde von Kaiser Franz die Einrichtung einer eigenen Bibliothek genehmigt. Sie ist damit eine der ältesten Behördenbibliotheken Europas und die älteste Gerichtsbibliothek Österreichs.
Seit 1905 steht die Benutzung des Lesesaals der Zentralbibliothek allen Juristen und Juristinnen offen. Dieser Zustand wurde bis heute unverändert beibehalten.
Im Jahr 1927 umfasste die Bibliothek rund 50.000 Werke. Sie war zu dieser Zeit die drittgrößte juristische Bibliothek Europas. Sie verwahrte neben dem damals aktuellen Schrifttum und den Gesetzessammlungen auch wertvolle Manuskripte, unersetzliche Frühdrucke und die Originalstatuten dalmatinischer und italienischer Städte. Fast alle diese Schätze wurden beim Brand des Justizpalastes vom 15. Juli 1927 ein Raub der Flammen.
Im Herbst 1927 begann man mit dem Wiederaufbau der Bibliothek, der durch zahlreiche Schenkungen aus dem In- und Ausland rasch voranschritt, sodass der Bestand Mitte der Dreißigerjahre wieder bei rund 18.000 Bänden lag. Nach der Auflösung des OGH im Jahr 1939 mussten allerdings die wertvollsten und modernsten Werke an das Reichsgericht in Leipzig abgegeben werden.