In het begin van de 15de eeuw stond er op het Sint-Jobplein een herenhoeve "het hof van Carloo" genaamd, die in de 14de eeuw door de heer Jan van Carloo zou zijn gebouwd (1). Al wat men weet is dat die hofstede door water omringd is.
Op diezelfde plaats bouwde Diederick van den Heetvelde rond 152l een ridderhofstede, met schuren, paardestallen en bijgebouwen, het geheel op paalwerk opgetrokken wegens de moerassige grond. Architecturaal was de herenwoning, met zijn getande gevels en omringd door een door de Geleytsbeek bevoorraadde gracht, middeleeuws van karakter, ofschoon dat 16de eeuwse kasteel niet langer een verdedigende functie had zoals de middeleeuwse burchten. Van het kasteel en de loverrijke, heuvelachtige omgeving bestaat een gravure van Hans Collaert (1545-1622), daterend van het einde van de 16de eeuw.
Diederick (Thierry) van den Heetvelde was één van de belangrijkste en succesrijkste heren van Carloo. In de gunst van Keizer Karel, bekleedde hij vooraanstaande functies zoals Woudmeester van Brabant, Raadgever en bewaarder van de hertoglijke en later keizerlijke schat van Filips de Schone en Keizer Karel. Diederick van den Heetvelde duidde bij testament zijn achternicht Catherine Hinckaert aan als opvolgster te Carloo. Zij trad in het echt met Wauthier van der Noot, wier huwelijk de luisterrijke familie van der Noot in Carloo introduceerde. Hun tweede zoon, Gaspard van der Noot, volgde zijn moeder in de Ukkelse heerlijkheid op. Hij was één van de kopstukken van een verijdeld komplot dat tot doel had de hertog van Alva op Goede Vrijdag 1568 in het klooster van Groenendael om te brengen. Gevlucht en vechtend aan de zijde van Willem van Oranje stierf hij in 1573 tijdens het beleg van Haarlem door de hertog van Alva. Zijn kasteel en bezittingen werden namens de opperleenheer Filips II van Spanje in beslag genomen. De inventaris ervan vermeldt o.m. een grote tuin, een kleine boomgaard rechtover de herenwoning en voorts een door de kasteelheer uitgebate hoeve waartoe 66 bunders bouwland behoorden (2), verdeeld over vier percelen : het Wilgenvelt, den Ham, het Nijsvelt en het Raepblock. In 1578 werd Carloo teruggegeven aan de zoon van Gaspard, Jan van der Noot. Tijdens diens uitzonderlijk lang heerschap, van 1578 tot 1643, bleef Ukkel niet gespaard van het geweld van de tachtigjarige oorlog.
De volgende kasteelheer, Gilles van der Noot, kocht in 1650 de heerlijkheid van Filips IV van Spanje af en ging onmiddelijk over tot de territoriale afbakening van zijn verworven gebied. In juni 1655, drie jaar vóór zijn dood, brandde Gilles' kasteel af en gingen bijna alle registers en archieven van de heerlijkheid Carloo in de vlammen op. Een nieuw kasteel liet niet lang op zich wachten, vermits de plaatselijke schepenen er al eind maart 1668 in vergaderden!
Architecturaal had dit kasteel veel weg van de kastelen uit die tijd maar qua opstelling, omgeven door het water van de Gelytsbeek was het nog steeds middeleeuws (Cfr. gravure van 0. Harrewyn). Emiel Vanderlinden haalt een oorkonde van het jaar 1678 aan waarin het kasteel beschreven staat als "uit het water opgebouwd met zijn ouden stercken thoren van witten arduyn midden" (3). Vanderlinden veronderstelt dat die toren een overbleven gedeelte van de afgebrande woning is, maar leggen we de gravures van Hans Collaert en van Harrewyn naast elkaar dan lijken beide gebouwen zó verschillend van elkaar dat de desbetreffende toren moeilijk een overblijfsel van de vroegere ridderhofstede kan zijn. Aan de herenwoning paalden de bijgebouwen, waarvan de op de gravure van Harrewyn rechts gelegen brouwerij en schuur tot ver in de 19de eeuw bestonden. Hans Collart toonde ons op het einde van de 16de eeuw het zicht van het centrum van Carloo temidden van een grillige en onaangeroerde natuur, terwijl diezelfde natuur grosso modo een eeuw later door Harrewyn als gekneed en bewerkt, volgens de Franse landschapsstijl, voorgesteld wordt.
Roger-WauthIer van der Noot volgde zijn vader Gilles in 1668 in Carloo op. De koning van Spanje, Karel II, beloonde zijn militaire verdiensten met de erfelijke titel van baron, een titel overigens die overeenstemde met het aan belangrijkheid winnende Carloo, dat zich toen uitstrekte over een oppervlakte van 500 hectaren! De laatste dertig jaren van de 17e eeuw leefde Carloo met de regelmaat van een klok onder de terreur van de legers van Lodewijk XIV. Roger-Wauthier van der Noot werd als gijzelaar in de citadel van Rijsel gevangen gezet, maar bij zijn terugkeer wachtte hem een triomfantelijke inhaling als eerste burgemeester van het hervormde stadsbestuur van Brussel. Hij bewoonde daar een herenhuis in de Priemstraat. In zijn kasteel te Carloo organiseerde hij in 1696 een groots feest ter gelegenheid van de doop van zijn zevende zoon, Maximilien-Emmanuel-Charles, bijgewoond door de gouverneur van de Zuiderlijke Nederlanden, Maximilien-Emmanuel Beieren en zijn gemalin, Thérèse-Charlotte-Cunégonde Sobiesky, dochter van Jean III Sobiesky, koning van Polen. De hooggeerde gasten waren peter en meter van de gedoopte.
Philippe-Francois van der Noot, vanaf 1710 Roger Wauthiers erfgenaam te Carloo, bestendigde de opgang van zijn familie; dit vertaalde zich in een accumulatie van gronden en titels en in de opname van het geslacht in de rangen van de hogere adel. Door zijn eigengereid optreden joeg Philippe-Francois van der Noot zijn oudste zoon tegen zich in het harnas en zijn exclusieve beschikking i.v.m. zijn nalatenschap zaaide tweedracht onder zijn nazaten; dit ging gepaard met een indrukwekkende processenreeks, waaraan maar in 1819 een einde zou komen.
Tijdens het bewind van de laatste van der Noot te Carloo, Jean-Joseph-Philippe van der Noot de jonge, werd het kasteel begin december 1790 door de Oostenrijkers geplunderd en in brand gestoken. Het is niet uitgesloten dat zij de baron van Carloo verward hebben met zijn verre neef Henri van der Noot, één van de leiders van de Brabantse Revolutie!
In 1795 schaften de Fransen de instellingen van het Ancien Régime af en dus ook de baronie van Carloo. De bezittingen van Jean-Joseph-Philippe van der Noot junior gingen door aantrouwing over in het erfgoed van het adelijk geslacht de Ligne. Naar aanleiding van recente kanalisatiewerken werden sporen van het verwoeste kasteel teruggevonden. Jacques Dubreucq noteerde nog het volgende i.m.v. het kasteel van Carloo: "La facade principale était tournee vers l'avenue Carsoel, miree dans un bel étang, le "peerdenwater" (abreu-voir). Telle est la référence a laquelle se rapporte le restaurant bien connu de ce lieu"(4). Heden bestaat dat restaurant nog.
Ukkel met in het centrum Carloo st. Job