Ds. J.W. Schaap heeft overtuigend betoogd, dat de Havixhorst, toendertijd onder de naam Havehorst en als allodiale adellijke hof met onderhorig landbezit, in handen van het geslacht Van den Clooster is gekomen door het huwelijk van Reinold van den Clooster (geb. c. 1328), met ene Margarete, naar alle waarschijnlijkheid Van Ansen *  .

Schaap concludeert, dat toendertijd tot de Havehorst moet hebben behoord het later afgesplitste complex Rheebruggen. Deze gedachte is aannemelijk. Een van Reinolds achterkleinzoons, Roelof van den Clooster, verwezenlijkte namelijk in de periode 1468-1487 de hereniging van het door vererving uiteengevallen Rheebruggen, waarvan de delen echter alle in handen waren van nazaten van zijn grootvader Johan van den Clooster. Zo kocht Roelof van den Clooster in 1468 van zijn neef Steven, zoon van Roelofs oom Cyse, een (derde?) deel van Rheebruggen, en in 1487 een ander (derde?) deel van Fye Polman, weduwe van Roelofs kinderloos overleden oom Roelof. Schaap veronderstelt, dat Roelof zelf van zijn vader Reinold van den Clooster ook een (derde?) part van Rheebruggen zou hebben geërfd en constateert, dat Rheebruggen dus kennelijk in drie delen was uiteengevallen *  .

In Schaaps gedachtengang zou dan een van de zoons van de al genoemde Johan van den Clooster, Johan (jr.), geen deel hebben gehad in de vererving van Rheebruggen. Johan sr. is naar de berekening van Schaap geboren c. 1354, uiterlijk c. 1360. Schaap zelf vindt Johan sr. al rijkelijk oud, wanneer hij hem in 1426 nog signaleert *  . In 1437 echter procedeerden voor de Etstoel een Johan van den Clooster en Reinolt van Echten inzake Rheebruggen *  . Aannemende dat het hier dan gaat om Johan jr., geboren c. 1397, ligt de ook overigens zinnige veronderstelling voor de hand, dat ook Johan jr. deel heeft gehad in de vererving van Rheebruggen en dat dit complex dus in vier delen was uiteengevallen. Het proces voor de Etstoel maakt gewag van een onopgehelderde connectie van (voorgenomen) huwelijk tussen Johan jr. en Reinolt van Echten, waarbij het betrokken deel van Rheebruggen door Johan aan Reinolt zou zijn toegezegd buiten de huwelijksvoorwaarden om *  . Het blijft voorts onduidelijk, of ook het deel van Rheebruggen dat heeft behoord aan Johan jr., die zonder aanwijsbare erfgenamen is overleden *  , door Roelof van den Clooster weer bij de overige is gevoegd. Hoe dit ook zij, Roelof van den Clooster herenigde Rheebruggen en werd daarmee de grondlegger van de tak tot Rheebruggen. Toen zijn oudste broer Johan (c. 1415-1490) overleed, ging de Havehorst over opde jongste broer Herman, waaruit Schaap afleidt dat Roelofs bezit, i.c. Rheebruggen, van meer betekenis werd geacht dan de Havehorst *  .

Na het kinderloos overlijden in 1627 van de laatste Reinold van den Clooster tot de Havehorst, zoals de in 1618 erkende havezate wordt genoemd naast de ook al verschijnende benaming Havixhorst, ging het bezit via diens zuster Agnes over in de familie Van Munster, echter niet voor lang. Agnes' echtgenoot Herman van Munster kreeg op de lotting van 3 oktober 1631 toestemming om enkele goederen te verkopen om daarmee de Havixhorst en andere bezittingen van schulden te ontlasten. Dat daarmee de kennelijk precaire financiële positie van deze Van Munsters niet wezenlijk verbeterde, blijkt vervolgens uit het feit dat Hermans zoon Rein(ol)t van Munster in 1658 de op zich onvoordelige ruil deed van de Havixhorst tegen de erve Ibinge te Echten plus een som gelds, en wel met Johan de Vos van Steenwijck, in wiens nakomelingschap de Havixhorst tot 1956 zou blijven *  .

Over de latere wederwaardigheden van de Havixhorst worden wij nog gewaar, dat de weduwe van Jan Arent de Vos van Steenwijk (1684-1713), Susanna Eleonora van Tuyll van Serooskerke en Welland, in 1720 het huis verhuurde aan Adriaen ten Haghuis, tegen wie zij in 1722 al procedeerde wegens achterstallige huur. De huurder voerde aan, dat de weduwe er na het sluiten van het huurcontract eerst zelf nog een tijd was blijven wonen, terwijl het huis ook allerlei gebreken had. Doordat het dak, het glas en de vensters niet in orde waren trad er veel lekkage op, en bovendien was de gracht niet schoongemaakt *  .

Blijkt daaruit van gebreken aan het toenmalige huis, dit werd vervolgens in 1753 door Jan Arent Godert de Vos van Steenwijk (1713-1779) afgebroken en vervangen door het huidige gebouw *  .

In de 19e eeuw verkocht de toenmalige bezitter mr. Jan Willem Jacobus baron de Vos van Steenwijk (1827-1897) de Havixhorst aan zijn jongere broer Mello, omdat zijn tweede vrouw het er te stil en afgelegen vond *  . Mello's zoons Jan Hendrik (1873-1946) en Jan Arend Godert (1876-1956) bouwden gezamenlijk op het terrein van de Havixhorst een kleiner huis, de Lindenhorst, dat hun sindsdien tot woonhuis diende *  . Met het overlijden van laatstgenoemde stierf de tak Havixhorst van het geslacht De Vos van Steenwijk uit. Hij vermaakte de Havixhorst aan zijn nichten Van Mourik, die het in 1962 verkochten aan het echtpaar Daniels'Van der Willigen c.s. te Rhenen, die er een bejaardentehuis vestigden *  .

Het sinds 1959 bij het Rijksarchief in Drenthe berustende huisarchief van de Havixhorst werd nagelaten door Jan Arend Godert baron de Vos van Steenwijk (1876-1956). Het bevat hoofdzakelijk stukken van zakelijke aard, alsmede een aantal archivalia van twee Deventer families, die in het archief gekomen zijn via het geslacht Sloet van Lindenhorst. Johanna Margaretha baronnesse Sloet van Lindenhorst trouwde met Mello baron de Vos van Steenwijk.

Het familie-archief De Vos van Steenwijk van de havezaten Nijerwal en Havixhorst verhuisde op onbekende datum naar kasteel Windesheim bij Zwolle, maar is daar als gevolg van het geallieerde bombardement van 22 oktober 1944 verloren. Persoonlijke stukken betreffende Godert Willem baron de Vos van Steenwijk tot de Hoogenhof en Havixhorst (1747-1830) en zijn nageslacht bevinden zich op het huis Diepenheim. De oudere stukken hiervan zijn echter overgedragen aan het familie-archief De Vos van Steenwijk, dat onder beheer van de familiestichting De Vos van Steenwijk berustte op kasteel Windesheim maar thans in bruikleen is gegeven aan het Rijksarchief in Overijssel te Zwolle.