První písemné zmínky o předchůdci dnešní Kratochvíle - tvrzi a hospodářském dvoře Leptáči pocházejí z roku 1401, kdy byl majitelem tohoto zboží netolický občan Mikuláš Kugl. Netolicko tehdy patřilo do správy zlatokorunského kláštera. V roce 1569 obdržel rožmberský regent Jakub Krčín z Jelčan za věrné služby tvrz Leptáč s hospodářským dvorem, dal tvrz přestavět a vymalovat ji loveckými výjevy. To se tak zalíbilo Vilémovi z Rožmberka, že nabídl Krčínovi výměnou za Leptáč městečko Sedlčany. Po znovunabytí Leptáče dal Vilém tvrz rozšířit a zřídil v blízkosti tvrze velkou oboru na králíky
Přestavbou Leptáče pověřil Vilém již osvědčeného rožmberského stavitele Baltazara Maggi z Arogna. Současně však připravoval výstavbu nového, velkoryse pojatého letohrádku, kde chtěl využít renesanční manýristické cítění italského stavitele.V květnu 1583 dal příkaz Jan Netolický z Turova, správce netolického panství, k založení základů pro vilu. Protože bahnitá půda neskýtala základům pevnou oporu, byly použity olšové a dubové piloty, vbíjené do mokré půdy. V létě 1585 byl založen v rohu ohradní zdikostelík, zasvěcený Panně Marii, následujícího roku pak byl dokončen vodní příkop kolem vily.
Roku 1589 vysvětil papežský nuncius a přítel Viléma z Rožmberka Antonius Puteus právě dokončený kostelík Panny Marie. Současně se pracovalo na výzdobě vily. Malířskou výzdobou byl pověřen Georg Widman z Braunschweigu, který se osvědčil při výzdobě zámku v Telči. Widman se svými třemi pomocníky pracoval v letech 1589 a 1590 na výmalbě obou podlaží vily a z jeho dílny pravděpodobně pochází i nástropní malba v kostelíku.
Při výběru loveckých námětů vycházel Vilém z Rožmberka z grafických předloh ve své době velmi oblíbených knih Thierbuch a Jagdbuch, vzniklých výtvarnou spoluprací malíře Johanna Bocksbergera ml. a rytce Jobsta Ammana. Widman využil předloh pro komponování figurálních výjevů, jeho vlastním výtvarným přínosem je krajinářské pozadí loveckých výjevů.
Od roku 1588 působil na Kratochvíli štukatér (a Maggiho krajan) Antonio Melana. Pro štukovou výzdobu vybral stavebník jako předlohu Římské dějiny Tita Livia, které vyšly v Německu v roce 1568 a jejichž obrazový doprovod rovněž vytvořili Bocksberger ml. a Amman. Melana sám římskou historii neznal, protože výjevy libovolně pomíchal, mistrně však zvládl kompozici postav a věnoval pozornost detailům, takže jeho postavy jsou živější než původní grafické předlohy.
Roku 1592 Vilém z Rožmberka zemřel a českokrumlovské panství, jehož součástí byla i Kratochvíle, zdědil poslední vladař domu Rožmberského Petr Vok. Ten dal příkaz dokončit zahradu mezi vilou a tvrzí Leptáč. Za jeho vlády byly v oboře chováni hřebci, ale také velbloudi. Stavební práce na Kratochvíli pokračovaly až do roku 1595, kdy byla stavba letohrádku ukončena položením prejzových stříšek na ohradní zdi.
Obrovské zadlužení rožmberského majetku se snažil Petr Vok řešit prodejem okrajových částí panství. Věřitelé však vyvíjeli na vladaře tak velký tlak, že se Petr Vok rozhodl k prodeji českokrumlovského panství císaři. Rudolf II. podepsal kupní smlouvu v říjnu 1601, čímž přešla do majetku koruny i Kratochvíle. Při vpádu vojsk pasovského arcibiskupa Leopolda byla Kratochvíle vyloupena a značně poškozena, zvěř v oboře byla zcela vybita. Roku 1622 obdržel českokrumlovské panství spolu s Kratochvílí štýrský šlechtic Jan Oldřich z Eggenbergu jako náhradu za finanční podporu, poskytnutou císaři . Kratochvíle tak získala nové panstvo, které čas od času na letohrádku pobývalo.
V roce 1719 přešla Kratochvíle spolu s krumlovským panstvím do rukou nových majitelů - Schwarzenbergů. Za knížete Josefa Adama v letech 1762 - 1764 byla snesena původní renesanční střecha a vybudována dnešní dvojitá mansardová, přičemž vzala za své lunetová římsa i půvabné "vlaské" komíny. Při přestavbě byly též vybourány podkrovní pokojíky, určené Vilémem z Rožmberka za obydlí fraucimoru.
V průběhu 19. století se několikrát na klenbách vily i kostelíka projevily statické poruchy a musely se zajišťovat klenby. Každý z těchto zásahů zhoršil již tak žalostný stav výzdoby letohrádku. Ve vile byly zřízeny úřednické byty, čímž byl dán popud k zabílení maleb a otlučení některých partií štukové výzdoby.Roku 1844 byl zrušen byt v horních prostorách vily a následujícího roku zřídil Jan Adolf II. v přízemí ústav pro sirotky schwarzenberských úředníků. Pro potřeby ústavu byla zřízena v sousedství vstupního sálu pec na chleba. V bývalé tabulnici v přízemí vlevo pak byl zřízen archiv netolického a prachatického panství. Po první světové válce započali majitelé s restaurováním maleb, veškerá činnost na Kratochvíli však ustala po pozemkové reformě.
Renesanční zahrada
Při projektování letohrádku Kratochvíle vycházel jeho tvůrce Baltazare Maggi z manýristického renesančního náhledu. Promyšlené vodní hospodářství, napájené ze sousedního rybníka, svědčí o realizační spoluúčasti Jakuba Krčína z Jelčan, regenta panství. Ostrov s letohrádkem sloužil jako zahrada. Na obraze J. Verleho jsou zachyceny ovocné stromy na obvodu i v prostoru zahrady mezi záhony. Verlův obraz také potvrzuje existenci kruhové nádrže ve středu zahrady, doložené nálezem zbytků dřevěného potrubí. Vnější prostor za vodním příkopem měl tvar obdélného rámu a tvořila jej travnatá plocha protínaná nepravidelnými účelovými pěšinami. Vnitřní lem vytyčovala zeď vodního příkopu a jednořadé aleje na východní a západní straně. Vnější lem byl tvořen stěnami hospodářských budov s kaplí a ohradní zdí s nikami a sedátky. Bohatá fresková výzdoba dokládá, že šlo o prostor stejně významný jako vnitřní zahrada. Sloužil patrně jako letní jízdárna, kolbiště atd.
Expozice
V roce 1981 byla na Kratochvíli zřízena expozice Krátkého filmu Praha. Vzhledem k úpravám interiérů ve prospěch nové expozice byla většina mobiliáře převezena do Krajského depozitáře v Třeboni. Na Kratochvíli zůstalo jen několik předmětů (např. Verleho Veduta Kratochvíle), připomínající původní historickou náznakovou expozici. Expozice ve vile byla zaměřena na animovaný krátkometrážní film pro děti, názorně seznamující s technologickými principy výroby kresleného, ploškového a loutkového filmu a s jeho autory.
Kaple Panny Marie - V nedávné době byla restaurována zámecká kaple Panny Marie, která se stala součástí prohlídkové trasy. V kapli jsou návštěvníci seznámeni s historií objektu a pokračují zahradou do vily, kde po krátkém úvodu o vzniku animovaného filmu mají možnost seznamovat se samostatně ( bez mluveného slova) s vystavenými exponáty.
Renesanční zahrada - Návštěvníci procházet manýristickou renesanční zahradou se záhony bylin a zemědělských plodin, komponovanými do geometrických obrazců. Celkový dojem podtrhuje vodní příkop, obklopující vilu se zahradním parterem.