Ab 1575, begann die Errichtung der Unterburg.

Während der Albertus-Bau noch im Stile einer Festung gänzlich aus Stein gebaut wurde, ist das Obergeschoss des Nassauer-Baus schon aus Fachwerk errichtet, um der neuen Funktion als repräsentativer Amts- und Nebenwohnsitz der Nassauer Grafen gerecht zu werden.

Im Jahre 1882 wurde der Rittersaal eingerichtet und der als Garten benutzte untere Burghof eingeebnet. 1885 wurde die äußere Treppe zum Nassauer-Bau angebaut.

Seit 1950 setzte die 2. Sanierungswelle ein, die sich fast ausschließlich darauf konzentrierte, das Innere der Unterburg zu einem den modernen Erfordernissen entsprechenden Gastronomiebetrieb herzurichten: Im Kellergeschoss des Nassauerbaus wurde eine Großküche eingerichtet, Heizungs- und Sanitäranlagen eingebaut, Dachreparaturen und teilweise Neuverschieferungen der Fassade von Nassauer- und Albertus-Bau (1953-56, 1969/70, 1977 und vor allem 2000/01) vorgenommen.