Entlang der Rückseite des Schlosses führt ein Weg zur südöstlich, leicht erhöht gelegenen großen Gartenanlage. Die nahezu rechteckige Fläche umfasst 125 m x 75 m und besteht aus dem großen Gartenparterre und zwei schmalen Terrassen nördlich im Hang. Portale und Umfassungsmauern werden durch steinerne Vasen akzentuiert. Die insgesamt fünf in zwei Achsen angeordneten Brunnenbecken, der Pavillon am Ende des Parterres und das Brunnenhaus oberhalb der Terrassen tragen entscheidend dazu bei, dass diese Anlage inmitten der stillen Waldlandschaft zu einem der schönsten historischen Gärten weit und breit zählt. Inzwischen sind die drei im Gartenparterre gelegenen Brunnen wieder funktionsfähig. Die Rasenfelder sind mit Buchsbaumhecken zu den Wegen hin begrenzt. Die Ecken werden durch in Form geschnittene Buchsbaumkugeln akzentuiert. An der Stützmauer zur ersten Gartenterrasse blühen im Sommer Rosenhecken. Die Schloss-Weilerbach-Gesellschaft e.V. hat sich die Pflege des Schlossgartens zur Aufgabe gemacht.
Der Gartenpavillon, außen eckig und innen oval, ähnelt in seiner Architekturgliederung mit hohem Sockel, reichem Portal und Gesims, Eckpilastern und steilem, abgewalmtem Dach der Schlossfassade. Sein eingangsportal wird flankiert von zwei Fenstern in Trompe-l’oeil-Malerei. In dem ovalen Innenraum sind vier Wandschränke eingelassen. Zwei Wandschränke verbergen die zum Keller und zum Dachraum führende Treppen. 1993 wurde die spätbarocke Ausmalung, eine Wandgliederung mit ionischen Pilastern und Festons, restauriert.
Seitlich der ehemaligen Weinbergsterrassen führen zwei Sandsteintreppen zum Brunnenhaus, das in der Mittel oben über den Terrassen thront. Das in diesem Gebäude untergebrachte Wasserreservoir stellte die Trinkwasserversorgung der gesamten Schloss- und Hüttenanlage sicher. Es wird auch heute noch von den oberhalb im Wald gelegenen Quellen gespeist. Das Wasser dient auch heute noch dem Betrieb der im Garten gelegenen Brunnen. Vor dem dunklen Waldhintergrund wird es durch eine reizvolle zweiläufige Treppenanlage hervorgehoben. Seine Fassadenbemalung zeigt neben architektonischen Motiven ( Streifenrustika, Eckpilaster, Vasen) auch einen Eulenspiegel mit Nachtvögeln. Sie wurde 1994 in den Orginalfarben (türkis auf ocker) rekonstruiert. Das gebrochene Dach ist als stumpfe achtseitige Pyramide aus dem steilen Walmdach entwickelt.