Na Goricku sídlil člen jedné větve rodu Claryů, Jan Leonard de Clary, který byl v průběhu první poloviny 17. století povýšen císařem Ferdinandem II. do stavu svobodných pánů s titulem „ze Sperbersbachu“.

Pravděpodobně jeho syn Jan Baltazar de Clary svobodný pán ze Sperbersbachu (†1713) obdržel v roce 1675 v Čechách inkolát. V průběhu téhož roku se oženil s Janou Františkou hraběnkou z Attems (†1685). Sňatkem získal čtvrtinu Dolního zámku v Benešově a původní attemovskou část benešovského panství – panství Růžová. V roce 1677  koupil Jan Baltazar panství Snědovice a na místě zchátralé tvrze dal postavit nový barokní zámek.

Od roku 1681 až do své smrti v roce 1712 byl Jan Baltazar hejtmanem litoměřického kraje za stav panský. V roce 1694 byl císařem povýšen do hraběcího stavu a držel panství Sukohrady a Smědovice.

Z prvého manželství neměl žádné dědice. Podruhé byl ženat s Annou Marií hraběnkou Vratislavovou z Mitrovic s níž měl syna Jana Vratislava Desideria.

Jan Baltazar hrabě Clary ze Sperbersbachu prodal v roce 1708 svoji benešovskou část – panství Růžová – za 40 tisíc zl. Františku Karlovi hraběti Clary-Aldringen. Tak došlo opět po mnoha letech získáním této části ke sjednocení benešovského panství, které vždy náleželo jako celek k Dolnímu zámku v jednom rodě Clary-Aldringenů.