Lokalita v Bílé Lhotě patří do kategorie původních středověkých tvrzí, které byly v dalších stoletích přestavěny na zámky. Starší literatura uváděla tzv. jízdárnu za možnou starší tvrz z 15. století. To musíme na základě výsledků geofyzikálního měření odmítnout. Původní tvrz v Bílé Lhotě stávala v prostoru dnešního zámku.
Sídlo drobného rytířského rodu, který se po Bílovicích psal. Objekt, který byl v roce 1446 v pramenech označen jako zaniklá tvrz, byl pravděpodobně pouze obytnou částí dvora poprvé připomínaného v roce 1340. Formulace v prameni, že se jedná o polovinu dvora v místě zaniklé tvrze naši interpretaci podporuje. V žádném prameni před rokem 1446 ani po něm se fortifikované panské sídlo v Bílovicích nepřipomíná.
Sídlo šlechticů píšících se po Bouzovu a centrum bouzovského panství. Hrad patřil markraběti Joštovi, následně se v jeho držbě střídalo několik šlechtických rodů v čele s Kunštáty. Roku 1696 ho do vlastnictví získal Řád německých rytířů, za druhé světové války patřil SS, po válce byl zestátněn. Dnes se jedná o vyhledávaný cíl turistů i filmařů.
Na území obce vznikly v historii hned dvě tvrze. Starší tvrz se měla nacházet nad tehdejším městečkem, zatímco po jejím zániku vybudovaná mladší tvrz již byla postavena přímo v městečku. Ta nyní tvoří renesanční jádro dnešního zámku s barokními a klasicistními úpravami. Zámecký areál ohrazení zdí se skládá ze zámku, krajinářského parku, hospodářských budov, zahradního pavilonu a nádvoří s kašnou
Tvrz nad městečkem Brodkem sloužila jako rezidence místní šlechty po tom, co byl za husitských válek zničen hrad v Otaslavicích. Svůj význam ztratila po dobytí Brodku pány z Boskovic za česko-uherských válek v druhé polovině 15. století a nejpozději na začátku 16. století zanikla.
Drobnější tvrz vznikla v Březsku patrně v prostoru hospodářského dvora po roce 1618. Její rezidenční úloha však nedlouho poté pominula. Budova tvrze byla využívána v určité formě až do konce 18. století, kdy pravděpodobně zanikla v souvislosti s parcelací dvora.
Ze skutečnosti, že byla zdejší tvrz ve 14. století opakovaně označována jako hrad, lze soudit, že se jednalo o větší a významnější stavbu. Tvrz stávala patrně v prostoru dnešního zámeckého parku jihovýchodně od zámku poblíž starého kostela. V neznámé době před rokem 1466 tvrz zpustla (snad za husitských válek). Matyáš z Hartunkova vybudoval v Čechách po roce 1550 novou tvrz, ale na jiném místě (v prostoru současného zámku). Tato tvrz byla přestavěna na barokní zámek v šedesátých letech 17. století. Největší slávu a rozkvět zaznamenal zámek a park za vlády hrabat Silva-Taroucca, kteří panství zakoupili v roce 1768. Širší veřejnosti je zámek znám opakovanými pobyty malíře Josefa Mánesa (od poloviny 19. století), který se s hraběcí rodinou přátelil.
Čertův hrádek představuje cennou památku středověkého opevnění drobného šlechtického sídla, které bylo pravděpodobně vybudováno v průběhu 14. století rodem vladyků z Vícova. Jeho poloha na ostrožně nad říčkou Oklukou i způsob opevnění dokládají promyšlený výběr obranně výhodného místa.
V Červené Lhotě nestála tvrz v samostatné poloze, ale byla součástí hospodářského dvora. Původně se patrně jednalo jen o obytnou část dvora, kterou od druhé poloviny 16. století nazývali tvrzí. Po ztrátě rezidenční funkce Červené Lhoty v 18. století tvrz zanikla (byla pohlcena hospodářskými budovami dvora). Dnes po ní nejsou žádné viditelné stopy.
Zpočátku patřila vesnice olomouckému biskupovi, následně se stala alodním statkem a sloužila jako sídlo nižších šlechticů z různých rodů, kteří se podle Otěhřib poté psávali.
Centrum samostatného statku, během 14. století se zde vystřídala řada majitelů. V 15. století byla tvrz v majetku Sulíka a Petra z Konice a následně sloužila jako rezidence nižších šlechticů z Bařic a poté z Čertoryj, kteří se podle Dětkovic i psali. Po prodeji Pernštejnům a následnému zápisu městu Prostějovu ztratila tvrz svůj význam a posléze zanikla.