Başkan John Adams, “Kongre kullanımı için gerekli olabilecek kitapları” satın almak ve böylece Kongre Kütüphanesini oluşturmak için mevzuatı uygun 5.000 dolara onayladı. Londra'dan sipariş edilen ilk kitaplar 1801'de geldi ve kütüphanenin ilk evi olan ABD Capitol'de saklandı. Nisan 1802 tarihli ilk kütüphane kataloğu, 964 cilt ve dokuz haritayı listeledi. On iki yıl sonra, İngiliz ordusu Washington şehrini işgal etti ve o zamandan beri 3.000 ciltlik Kongre Kütüphanesi de dahil olmak üzere Capitol'u yaktı.

İki dönem boyunca kütüphanenin genişlemesini savunan eski cumhurbaşkanı Thomas Jefferson, ülkedeki en büyük ve en iyi kişisel kütüphanesini kütüphaneye “yeniden başlamak” konulu Kongre'ye satarak zararına cevap verdi. Jefferson’un 6.487 cildinin satın alınması gelecek yıl onaylandı ve profesyonel bir kütüphaneci olan George Watterston, kütüphanenin yönetimindeki Meclis memurlarının yerine geçmek üzere işe alındı. 1851'de, kütüphanedeki ikinci büyük yangın, Thomas Jefferson kütüphanesinin üçte ikisi de dahil olmak üzere 55.000 cildinin üçte ikisini tahrip etti. Kongre felakete hızlı ve cömertçe cevap verdi ve birkaç yıl içinde kaybedilen kitapların çoğu değiştirildi.

İç Savaştan sonra, koleksiyon oldukça genişledi ve 20. yüzyıla kadar Kongre Kütüphanesi, ABD'nin fiili ulusal kütüphanesi ve dünyanın en büyüklerinden biri haline geldi. Bugün, Washington'daki üç devasa binada yer alan koleksiyon, 17 milyondan fazla kitabın yanı sıra milyonlarca harita, el yazması, fotoğraf, film, ses ve video kaydı, resimleri ve çizimleri içeriyor.