Sidst i 1800 tallet opførte Oberst von Bauditz den oprindelige bygning som herskabsvilla for sig selv og sin familie. Efter hans død i starten af 1900 tallet, overtog sønnen Jagtjunker von Bauditz stedet og omdannede det til en træ planteskole. Men økonomien hang ikke sammen, så efter nogle år måtte han opgive og sælge stedet.

I 1913 købte en kreds af københavnske postbude stedet og omdannede det til et ferie- og rekreationshjem. I 1979 overtog Dansk Postforbund ejendommen med tilhørende 8 tdr. land og året efter, den 11. februar blev stedet indviet som forbundets kursuscenter med 29 værelser, 14 huse og diverse konferencerum.

Siden da er Postillonen og Pavillonen blevet opført og Centret er løbende blevet vedligeholdt, således at det i dag fremstår som et moderne og velfungerende kursus- og feriecenter.

I forbindelse med at Dansk Postforbund i 2001 blev sammenlagt med det daværende SID - i dag 3F, blev Rørvig Centret omdannet til et aktieselskab.

Højt til himlen. Havet lige her. Tid til øjeblikket.