Der Vorgängerbau, von dem Sandsteineinfassungen der Kamine und ein Küchenbrunnen erhalten sind, wurde gegen 1680 errichtet. Damals war das Herrenhaus bereits Zentrum eines Ritterguts mit einer landwirtschaftlichen Nutzfläche von 300 Morgen (ca. 75 ha). Um 1721/22 errichteten Walrad Ludwig von Wilcke (1687-1747) und seine Frau Anna Wilhelmine, geb. von Wurmb, das „Neuwilckesche Gut“ in seinen heutigen Maßen. An die Erbauer erinnert das Allianzwappen im Bibliotheksgiebel und auf den gußeisernen Kaminplatten. Walrad Ludwig war langjähriger Obrist im  Dienst August des Starken, Kurfürst von Sachsen und König von Polen, dessen Portrait über dem Kamin im Esszimmer einen Ehrenplatz einnimmt.

Da die eher schlicht gehaltene Erstausstattung des Hauses nicht den Ansprüchen seines Sohnes Wilhelm Ludwig von Wilcke (1721-1785) und vermutlich noch weniger seiner Frau Charlotte Henriette von Götz, einer künstlerisch veranlagten Dresdner Hofdame, genügte, nahmen beide zwischen 1752-54 eine vollständige Neugestaltung der repräsentativen Räume nach dem barocken Zeitgeschmack der sächsischen Hofgesellschaft vor. Wilhelm Ludwig und Charlotte schufen Raumfolgen enfilade und statteten die repräsentativen Räume mit bemalten Leinwänden oder textilen Bespannungen aus. Mit dem Anbau der Bibliothek entstand 1764 ein mit Motiven aus der klassischen Mythologie gestalteter Raum für literarisch wissenschaftliche Studien.

Lithographie Sammlung Alexander Duncker

Zustand 1977

1782 heiratete  Wilhelmine von Wilcke (1758–1826)  den französischen Gesandten am Hof des Landgrafen von Hessen – Kassel, Achilles François Ursin Hue de Grais (173 – 1799). Seither wird das vormalige „Neuwilckesche Gut“ als „Schloss Hue de Grais“ bezeichnet. Das wohl bekannteste Mitglied der Familie ist Robert Graf Hue de Grais (1835–1922), verheiratet mit Wilhelmine, geb. von Hanstein (1847 – 1929).

Nach dem Tod seiner unverheirateten Tochter Elsa Gräfin Hue de Grais (1876 – 1956) , die nach der Teilung Deutschlands trotz der erschwerten wirtschaftlichen und persönlichen Lebensbedingungen als Hüterin des Hauses in Wolkramshausen wohnen blieb,  gingen raumprägende Elemente und wertvolles Inventar  verloren. Um weitere Verluste und den Verfall des Denkmals zu verhindern, schlossen sich geschichtsbewußte Bürger aus Wolkramshausen unter Leitung von Herrn Engelhardt als Ortsgruppe des Kulturbundes zusammen. Sie sanierten in sog. Feierabendbrigaden Haupt- und Nebengebäude und sicherten damit den Fortbestand des Denkmals; ein Beleg für unsere Überzeugung, dass öffentliches Interesse der beste Schutz eines Denkmals ist.

Ungeachtet der unklaren Eigentumsverhältnisse, das Denkmal war 1972 nach dem Baulandgesetz der DDR enteignet worden, förderten die Deutsche Stiftung Denkmalschutz und das Landesamt für Denkmalpflege ab 1990 bis 1994 mit erheblichen finanziellen Mitteln die ersten grunlegenden Sanierungsmaßnahmen. Nach einem mehrjährigen, 1999 für die Nachfahren erfolgreich mit der Rückübertragung abgeschlossenen Verwaltungsrechtsstreit, wurden die Sanierungsarbeiten wieder aufgenommen und ab 2003 von Uta und Manfred Werthern, dem Urenkel  von Robert Graf Hue de Grais, fortgeführt.

Von den ursprünglich zahlreichen Besitzungen der Familie von Werthern in Nordthüringen und Sachsen ging der Großteil mit der entschädigungslosen Enteignung 1945-48 verloren. Heute ist Schloss Hue de Grais das einzige, das sich wieder im Familienbesitz befindet.

Robert Graf Hue de Grais

Bekanntester Sohn von Wolkramshausen und Bewohner des Hauses war zweifelsfrei Robert Graf Hue de Grais (1835–1922), Polizeipräsident von Stettin, 1885-1889 Abgeordneter im preußischen Abgeordnetenhaus und von 1889-1900 Regierungspräsident des Regierungsbezirks Potsdam. Als Verfasser des in 26 Auflagen erschienenen „Handbuchs der Verfassung und Verwaltung in Preußen und dem Deutschen Reiche“ war er die prägende Figur des preußischen Verwaltungsrechts der damaligen Zeit. Das Denkmal Schloss Hue de Grais ist mit seinem Namen untrennbar verbunden.