I když zámeček Červená Lhota, známe z pohádek asi všichni, o jeho nejstarší historii nemáme mnoho svědectví. První doloženým vlastníkem tehdy ještě tvrze Lhota byl v první pol 15. století Ctibor ze Zásmuk. Dále víme, že jedním z dalších majitelů byl Diviš Boubínský z Újezda, který panství prodal rytířskému rodu Kábů z Rybňan a to někdy kolem roku 1530. K jejich panování se vztahuje pověst o nehodné zámecké paní, kterou odnesl čert a po níž zbyly jen krvavé stopy na tehdy ještě bělostné omítce. Právě proto prý byly zámecké zdi později natřeny na červeno.
Páni z rodu Kábů proměnili gotickou tvrz v renesanční zámeček a dali vzniknout zámecké kapli. Prodejem se pak panství dostalo do vlastnictví Rutů z Dírné. Když ale musel poslední z rodu Bohuslav Ruta jako nekatolík po Bílé Hoře opustitsvé sídlo i zemi, usadil se na zámku rytmistr císařského vojska italského původu Antono Bruccio. Ten se ukázal být dobrým pánem, a celé válkou zdecimované panství začalo pod jeho dohledem opět vzkvétat. Protože neměl Bruccio žádného dědice, přešla po jeho smrt Lhota do držení královské komory a několik let zela prázdnotou.
Novým majitelem se roku 1641 stal později defenestrovaný nevyšší hofmistr císařského dvora Vilém Slavata z Chlumu a Košumberka. Slavatové zahájili velkolepou barokní přestavbu, která se odrazila převážně v interiérech. Sňatkem Marie Markéty, Vilémovy vnučky přešlo panství roku 1693 do držení rodu Windischgrätzů. Ti se ale neukázali jako příliš dobří správci nabytého majetku, protože panství záhy zadlužili a poté odprodali roku 1755 svobodným pánům z Gudenesu. Jejich vlastnictví bylo provázeno mnoha stavebními úpravami, ale vyvrcholilo neblahou událostí, požárem, který zlikvidoval zřejmě všechny hospodářské budovy.
Dalším majitelem Červené Lhoty se roku 1776 stal prusko-slezský šlechtic Ignác Stillfried. Již jeho syn však panství prodal roku 1820 Jakubu Veithovi. Ani tento rod však na Červené Lhotě nepobýval dlouho. Jakubova dcera Terezie panství opět prodala roku 1835 majorovi rakouské armády, diplomatovi, c. k. komořímu knížeti Heinrichu Eduardu Schönburg-Hartensteinovi. Několik generací c.k. úředníků z rodu Schönburg-Hartensteinů se tak stalo posledními šlechtickými majiteli zámku. Na budově provedli hned dvě přestavby. První pseudogotickou ve druhé polovině 19. století, druhou neorenesanční, jenž vtiskla zámku dnešní podobu asi o půlstoletí později.
Po druhé světové válce přešla Červená Lhota do vlastnictví státu, nepostihla ji však smutná vojenská realita jako nemálo podobných památek. Na nějaký čas byly její prostory využívány jako dětská ozdravovna, brzy však byla převzata Národní kulturní komisí a již od roku 1949 zpřístupněna veřejnosti.
