Początki osadnictwa na terenie Żarnowca są bardzo stare i sięgają epoki plemiennej - przed powstaniem polskiej państwowości. Legendy mówią m.in. o stojącym tutaj posągu Światowida. Miał też wędrować tędy św. Wojciech. Pierwsza pisemna wzmianka o miejscowości pochodzi z kroniki Galla Anonima. Miało tu wówczas (w 1098 r.) dojść do spotkania Władysława Hermana z synami Zbigniewem i Bolesławem. Żarnowiec był w tych czasach usytuowany w nieco innym miejscu niż obecnie, ok. 3 km w dół Pilicy, na terenie dzisiejszych Łanów Wielkich, które przez pewien czas określane były mianem Starego Żarnowca. Być może ówczesny Żarnowiec posiadał prawa miejskie od XIII w, z nadania Bolesława Wstydliwego. Przeniesienia miasta na obecne miejsce, a zarazem jego ponownej lokacji, na prawie magdeburskim, dokonał najprawdopodobniej Kazimierz Wielki, co miało miejsce miedzy rokiem 1326 a 1340. Średniowieczny układ urbanistyczny Żarnowca, zachowany do dzisiaj, pochodzi właśnie z czasów tej lokacji. Należy doń centralnie usytuowany rynek z wybiegającymi z jego narożników uliczkami. Z zabytków tego okresu dotrwał do naszych czasów XIV-wieczny kościół pw. Najświętszej Marii Panny i św. Jakuba Starszego oraz nikłe resztki zamku postawionego przez Kazimierza Wielkiego. Część zabudowy wokół rynku to drewniane lub murowane, XIX-wieczne domy. Żarnowiec w swoim czasie stał się dość ważnym ośrodkiem miejskim, a także centrum powiatu. Funkcjonowała tu komora celna, sąd powiatowy, odbywały się jarmarki. Bywał tu m.in. Władysław Jagiełło. Dzięki usytuowaniu na starym szlaku handlowym następował rozkwit miasta, które okres największej świetności przeżywało w XV i XVI w. Upadek Żarnowca rozpoczął się wraz z potopem szwedzkim oraz kolejno nawiedzającymi go pożarami. Wyludnione miasto rozwinęło się nieco, gdy zaczęli osiedlać się tu Żydzi. Kiedy w czasach zaboru rosyjskiego wytyczono (w 1836 r.) drogę z Warszawy w stronę Galicji, zamiast przez Żarnowiec poprowadzona została ona przez Miechów, co przekreśliło szansę na odzyskanie dawnej świetności. Miasto stało się siedzibą władz insurekcyjnych w czasie powstania styczniowego 1863 r. Miała tu też miejsce, 20 lutego tegoż roku, bitwa grupy powstańców z oddziałami rosyjskimi. Z powodu postępującej agraryzacji i ogólnego zubożenia miasta Żarnowiec utracił prawa miejskie na mocy ukazu carskiego z 1 czerwca 1869 r.