Das stattliche Gebäude mit der markan-ten Fachwerkfassade wurde 1545 als Neßleinsmühle erstmals urkundlich erwähnt. Noch heute sind im Festsaal die imposanten Reste der ursprünglich 1 m dicken Sandsteinmauer zu sehen, auf denen das Wasserrad gelagert war, das vom Wasser im Stadtgraben  angetrieben wurde, der hier einst vorbeifloss.

Viele der mächtigen Deckenbalken, die im 1. Obergeschoss (Hotelzimmer), in der Gaststube, im Festsaal und im Nebenzimmer zu sehen sind, geben Zeugnis von vergangenen Jahrhunderten. Sie prägen noch heute den Brandenburger Hof und geben ihm eine einzigartige Atmosphäre.