Najdbe na prehodu iz bronaste v železno dobo nakazujejo na zgodnjo poselitev območja Višnje Gore; najdbe se hranijo v Narodnem muzeju Slovenije v Ljubljani.

V rimskem času je bilo tu naselje Magnisna – vojaško naselje. Ko so pred nekaj desetletji v Višnji Gori gradili vodovod so odkrili tudi rimske lončene vodovodne cevi.

Prvotno naselbino Stari trg pisni viri omenjajo že leta 1269. Ta srednjeveška naselbina se je ohranila vse do danes. Zaradi vse hujših turških vpadov so v 15. stol. zgradili obzidje in obrambne stolpe, kar je bil pa v tistih časih tudi pogoj za pridobitev mestnih pravic. Takratni cesar Friderik III. je torej Višnji Gori, zaradi strateško pomembne vloge pri obrambi pred Turki, leta 1478 dodelil položaj mesta. Pomen mesta je upadel, ko je minila turška nevarnost.

Meščani so bili večinoma obrtniki, cvetela pa je tudi trgovina. Spodnja ulica se je imenovala Gasa. Tu so prebivali mali obrtniki malo nižjega socialnega sloja, predvsem čevljarji, krojači in nočni čuvaji. Mesto je bilo znano po svojih sejmih, kjer so se predstavljali najbolj številčni čevljarji, sejmi pa so bili tudi kovaški, nožarski, krojaški, usnjarski …

Iz tistega časa sta ostala dobro ohranjeno mestno obzidje, stolp in razvaline Starega gradu gospodov Višnjegorskih nad mestom. Grad je prehajal v last številnih fevdalnih družin in večina teh novih prebivalcev se je imenovala za Višnjegorske. Grajsko mogočnost je razmajal katastrofalni potres l. 1511, ki je porušil še marsikateri grad na Kranjskem. Kasnejši lastniki Auerspergi so grad v 18. stoletju opustili in ob vznožju hriba postavili Auerspergov dvorec, v katerem je bilo kasneje sodišče in sedež okraja, danes pa je v njem Vzgojno izobraževalni zavod Višnja Gora. V Višnji Gori je prebival tudi znameniti baron Peter Anton Codelli, ki je imel tudi tu svoj dvorec in botanični park.

Konjšček – vodnjak z obliko kapele ob robu srednjeveškega naselja, ki je ime dobil po hrastovem koritu, kjer so se napajali vprežni konji. Izvir je sicer danes suh, naj bi ga pa izkoriščali že v rimski dobi. Kasneje so meščani izvir obzidali in postavili streho ter v obliki klopi postavili in obzidali kamnite bloke. Po zglajenosti se vidi, da so verjetno na njih precej posedali, pravijo, da je tu gostoval nekakšen klub mestnih očetov in cehovska združenja, v lepem vremenu pa zasedal mestni svet, mestne gospodinje so v hladu celo shranjevale bolj pokvarljiva živila.

Valvasorjev vodnjak v središču mestnega trga je bil l. 1872 izdelan na Dvoru pri Žužemberku, v takratni železolivarni. Prejšnji vodnjak, ki je stal na tem mestu, je bil iz lesa. Prebivalci so ga postavili v zahvalo Valvasorju, ker je pisal o Višnji Gori.