Laichingen ist seit alter Zeit eine Stadt der Weber. Die Geschichte ihrer Bewohner ist deshalb durch die Jahrhunderte mit den Webern verknüpft. Nach Professor Dr. Rolf Walter war Laichingen im 15. Jahrhundert sogar "Eines der wichtigsten Zentren der traditionellen Leinenweberei in Württemberg [...]".
Der Beruf des Webers gehörte zu allen Zeiten nicht zu den sozial gut gestellten Tätigkeiten. Erst mit dem industriellen Zeitalter ist in Laichingen ein Wandel zum Besseren spürbar geworden.
Das Weberei- und Heimatmuseum ist im ehemaligen Heiligenhaus untergebracht, welches früher zur Kirchenburg, einer Befestigungsanlage gehörte, die rund um die St. Albanskirche (erste urkundliche Erwähnung 1085) verlief.
Diese Anlage, deren Befestigungsmauern und Gebäude bis in die heutige Zeit erhalten blieben, wurde im Jahre 1555 auf Anordnung von Herzog Christoph von Württemberg erstellt, um den durchziehenden Salztransporten während der Nacht Schutz zu gewähren.