Dit landhuis dateert uit omstreeks 1757 en werd gebouwd als woonhuis van de Heer en eigenaar van Schiermonnikoog, Johan Willem Stachouwer. (Latere familienaam: Tjaarda van Starkenborgh Stachouwer, heren van Rijsbergen.) De familie had het eiland gekocht in 1640, maar zag het toenmalige dorp en hun kasteeltje, westelijk op het eiland gelegen, geleidelijk in zee verdwijnen. Vandaar een nieuw verblijf, dat Rijsbergen werd gedoopt, naar hun bezit in het Gooi.

Ook latere eigenaren van het eiland woonden op de 'borch' of 'burcht', zoals Rijsbergen bekend stond. Na de Stachouwers was dat de daadkrachtige John Eric Banck, die veel heeft betekend voor Schiermonnikoog. Na hem waren het de graven Von Bernstorff. Zij verloren het eiland door confiscatie in 1945, hetgeen graaf Bechtold Eugen zeer onjuist vond. (Na vele jaren is hij enigszins gecompenseerd door de Duitse overheid; hij is in 1987 begraven op Schiermonnikoog.) Jarenlang functioneerde het gebouw als jeugdherberg, vervolgens als hotel Herberg Rijsbergen.

Het terrein waarop Rijsbergen staat, is verbonden met de dorpskerk via een speciaal Kerkelaantje.

Op 15 januari 2019 is Rijsbergen overgegaan in handen van vier cisterciënzer monniken, (van de orde die vroeger bekend stond als 'schiere monniken'). Het huis Rijsbergen herbergt sindsdien het Klooster Schiermonnikoog. Een gedeelte van het huis heeft de bestemming 'gastenhuis'. Hier is plaats voor zes gasten die leefritme en gebedsdiensten van de bewoners kunnen volgen.