Das Wappen der Marktgemeinde mit seinem schlossähnlichen Haus und den beiden Seitentürmen könnte der eine oder andere Betrachter als Hinweis auf eine ehemalige Burg deuten. Obwohl der Wappenbeschreibung zufolge dem keineswegs so ist, scheint Geisenhausen vor vielen Jahren dennoch eine Burg gehabt zu haben.