Hrad Bítov byl založen pravděpodobně knížetem Břetislavem I. (1003-1055) v 11. století jako součást řetězce hradů, které chránily jižní hranici přemyslovského státu před německou kolonizací.
Hrad byl několikrát přestavován, z přestavby ve 13. století byla zachována válcová věž s románskými základy a torzo hradního paláce.
Ve 14. století Lichtenburkové z Bítova vybudovali na východní straně jádro hradu v místech dnešního paláce a vystavěli nový hradní kostel Nanebevzetí panny Marie na hradním nádvoří (1334). Lichtenburkové,
kteří nabyli bohatství zejména z těžby stříbra u dnešního Havlíčkova Brodu, budují nedaleko Bítova ještě hrad Cornštejn, jako výraz posílení jejich moci v tomto regionu.
Z počátků 14. století se v hradní kapli též zachovala gotická dřevořezba Madony s dítětem.
V 17. století, po bitvě na Bílé hoře, rod Jankovských (Fridrich Jankovský byl spolutvůrce moravské ústavy z roku 1628) přestavěl hrad na barokní zámek. Byl to také on, kdo zachránil hrad před vypleněním švédskými vojsky v době Třicetileté války, když půjčuje poddaným na výpalné a z bítovského pivovaru dává švédům nepočítané množství sudů piva. V té době rozšiřuje hradní kostel a zřizuje vstupní most do hradu.
V 19. století na něm rod Daunů provedl romantickou gotizující přestavbu. Na místě studny je postavena nová kašna (1811), provádějí se velké úpravy zahrad a místního lesoparku.
Po Daunech dědí hrad Haugwitzové. Právě oni na Bítově zakládají rozsáhlé sbírky zbraní. Nejznámější osobou rodu byl Bedřich Vilém, český a rakouský kancléř, rádce Marie Terezie, a spolutvůrce osvícenských reforem.
Od Haugwitzů kupuje v roce 1906 Bítov Jan I. hrabě Zamojski, ale již po dvou letech ho prodávají knížeti Radziwillovi, původem z Litvy. Ten prodává Bítov v roce 1912 rakouskému velkoprůmyslníkovi, sudetskému němci Jiřímu Karlu staršímu baronu Haasovi z Hasenfelsu (1841-1914).
Po jeho synovi je na hradě zachována sbírka 51 vycpaných psů z jeho psince, který čítal asi na 200 psů. Každý ze psů je vycpán v poloze, kterou měl za svého života nejraději. Ostatní psy nechával baron pochovat na několika psích hřbitovech, které na hradě založil; nejrozsáhlejší se rozkládal před hlavní vstupní bránou v hradním příkopě. Hroby byly označeny dřevěným křížkem a nevelkou plechovou destičkou s příslušným jménem.
Celou válku baron přežil na svém hradě mezi svými zvířaty. 11. května 1945 jej na hradě navštívili partyzáni spolu s tehdejšími místními představiteli KSČ, aby mu oznámili, že bude spolu s ostatními němci odsunut do Rakouska.V té době bylo Jiřímu Haasovi ml. 69 let a se svou ZOO, hradem a vlastní zemí se nedokázal rozloučit. Oblékl se do parádní C.a.K. uniformy a nabil revolver.
Věrná hospodyně ho přemlouvala do jedné ráno. Pak se baron zamkl - a padly dvě rány.
K vyvlastnění Bítova po roce 1945 pro úmrtí majitele tak fakticky nedošlo. V roce 1962 dostává belgická rodina Copée, nejbližší baronovi příbuzní, od státu odškodné vy výši 1 mil. Kč, a v roce 1998 nechává v zámecké kapli osadit pamětní desku na památku barona Jiřího a jeho rodiny. Deska z bílého carrarského mramoru upomíná na místo odpočinku posledního šlechtického majitele Bítova Jiřího Julia barona Haase.
K Bítovskému hradu se váže několik romantických pověstí, které uvádí oficiální stránky hradu 
. Z nich jsme vybrali dvě nejzajímavější, pověst o ostatcích svatého Václava, a o Chvalatických pokladech.
Václave!
Když se začala na Bítově plnit nová přehrada vodou a tichý živel pomalu na kousky rozemílal domy i dvorky staré vesnice, uslyšel Václav Mátl z Vysočan ve spánku podivný hlas. Promluvil k němu snad jeho patron, svatý Václav, a přikázal mu, že má jít do starého bítovského kostela a vyzvednout tam něco pod oltářem. Václav nebyl žádný fantasta, a tak na sen příliš nedal. Dál se věnoval svým povinnostem a na vzkaz svého patrona zapomněl.
Přišla další noc a s ní znova tentýž sen, ale mnohem silnější a živý. Václav se probudil zpocený a musel chvíli chodit po světnici, aby se z noční můry vzpamatoval. Ale jak se mu vrátila bdělost, poklepal si na čelo a na sen nemyslel.
Svatý Václav se ovšem odradit nenechal. Bombardoval svého jmenovce živými sny tak dlouho, až ten se skutečně odhodlal na loďce vydat k zatopenému kostelu.
Pod oltářem zpočátku nic nenašli. Kostel byl vybílený, všechno vzácné se už odneslo. Václavovi to ale nedalo, a tak dal pátral ještě pod oltářními kameny.
A skutečně - objevil zde maličkou schránku, v níž odborníci později rozeznali ostatky svatého Václava. Patron české země chtěl nechat vyzvednout památku na sebe a vybral si k tomu svého jmenovce, jediného Václava ve Vysočanech.
Václav měl od té doby klidné spaní.
Chvalatické poklady
Podle vyprávění starých legend musejí být Chvalatice přímo nacpané různými poklady a schovaným zlatem. Stačí sáhnout do země a ruka se třpytí zlaťáky. Ani brambory snad není kde sázet - všude samé zlato.
První poklad je schovaný u Skály Vítězslava Nováka. Zde stával kdysi hrad, jehož podzemní chodby vedly až na Cornštejn a Hardegg. Skálu najdete na břehu přehrady.
Jednou přepadli hrad nepřátelé a bylo jisté, že se jeho obyvatelé neubrání. Museli tedy uprchnout. Ale co s penězi? Nemohli je přece nechat napospas nepřátelům. Zakopali je tedy do země u velkého, dva metry vysokého balvanu a na tom místě zasázeli několik švestek. Jedna děvečka se z toho hradu zachránila a žila až do smrti ve Chvalaticích. Na smrtelném loži sice pověděla lidem, kde je poklad ukryt, ale švestky už tam nestály. Poklad je ovšem možné přesto nalézt - zkuste to! (V r. 1978 se na pozemku pana Jaroslava Bočka, v domě, který prý dříve patřil oné služce z hradu, skutečně nalezlo mnoho vzácných starých mincí).
Druhý poklad se skrývá za Chvalaticemi v takzvaném "Měděném údolí." Kdysi sem zavedl starý chvalatický pastýř dobytek z celé vesnice. Natáhl se přes poledne do chládku, pod hlavu si položil kabátek, když tu najednou.. pařez, na který si chtěl uložit hlavu, se začal náhle propadat do země. Pastýř vstal, prohlédl si pařízek a místo něj vidí káď plnou měďáků. Než si jich ale stačil nabrat, zmizely. Ve Chvalaticích totiž právě v tu chvíli zazvonil zvon.
