Der heute festungsartige Gebäudekomplex wurde 1376 auf Beschluss des Domkapitels Würzburg als Ausweichquartier für Sitzungen errichtet. In der ersten Bauphase entstand ein aus Stein gemauertes einstöckiges Haus. 1531 wurde darauf ein zweistöckiger Fachwerkaufbau gesetzt, was heute von außen nicht mehr zu erkennen ist. Als 1563 die Pest in Würzburg wütete, flohen der Würzburger Fürstbischof „Friedrich von Wirsberg“ und sein Gefolge nach Karlstadt - in dieser Zeit entstanden wertvolle Wandmalereien mit christlichen Motiven und Sinnsprüchen.
Das gesamte Anwesen wird von der Stadt Karlsfeld in Kooperation mit der Diözese Würzburg grundlegend saniert. Hierzu zählt vor allem die statische Sanierung, Sicherung und Reinigung der wertvollen und reichen Malereibefunde und der schonende Umbau zum Museum „Kunst und Geist zu Beginn der Neuzeit“.
Die Maßnahme mit Gesamtkosten von rund 2,5 Mio. € wird von der Bayerischen Landesstiftung mit einem Zuschuss in Höhe von 207.000 € unterstützt.