Al in 1190 stond er een soort versterkte boerenhoeve met de naam Rechteren vlakbij de plaats waar nu het kasteel staat. Om de hof was een gracht met een aarden wal aangelegd. Beide aanpassingen zorgden ervoor dat de hof beter te verdedigen was tegen rovende bendes. Rechteren is het enige van de middeleeuwse kastelen in Overijssel waarvan, ondanks belegering, ontmanteling, ingrijpende verbouwingen en uitbreidingen belangrijke delen zijn overgebleven. De donjon dateert uit de 14de eeuw en het woongedeelte werd in de 15de eeuw gebouwd. De ringmuur die rondom de burcht heeft gestaan is helaas verloren gegaan. Kasteel en landgoed bleven in de loop der jaren in dezelfde familie. In mannelijke lijn stamt het huidige geslacht Van Rechteren af van de tussen 1231-1245 vermelde ridder Evert van Heeckeren. Ook nu nog woont er een nazaat van het geslacht Van Rechteren op het kasteel.
Landgoed Rechteren heeft heden ten dage een omvang van ruim 1.200 hectare. Landbouwgronden, bossen, lanen, houtwallen, heideveldjes en laaggelegen gronden met water bij de Vecht wisselen elkaar af. De tot het landgoed behorende boerderijen en woonhuizen zijn te herkennen aan de ossebloedrood en okergeel geruite luiken met een groene rand.
Uniek aan Rechteren is dat het kasteel met donjon nog steeds het middelpunt van het landgoed vormt. Met de markeverdeling in de 19de-eeuw werd het landgoed verder uitgebreid.
De bos- en natuurgebieden van landgoed Rechteren zijn tussen zonsopgang en zonsondergang kosteloos voor wandelaars opengesteld.