| 1. Kastelen. | a. Ter Elst. | b. Muggenberg. |
| c. Rooienberg. | d. Bemortel. | e. Kasteel van Voogdij. |
| 2. Herenhuizen ... . | Kasteel Wouwendonck. | Kasteel De Locht. |
| Villa Hermans. | Kasteel Perwijs. | Kasteel Mouriau. |
| Kasteeltje in de Mijlstraat. | Villa Van Camp. |
In het kerkelijk jaar 1985-'86 werd het 500-jarig bestaan gevierd van het hoogkoor in de St.-Martinuskerk. In de toenmalige vergunningsakte tot koorbouw lezen wij dat ‘het oude koor te klein was geworden en ingenomen door de zitsels van de vele edellieden, die het grootste deel van het jaar alhier op hun schone kastelen doorbrachten’. Deze kastelen stonden meestal waar ze gemakkelijk te verdedigen waren, namelijk in de broeken aan de boorden van de Nete.
De families van drossaards en schouten en de heren van laathoven bewoonden te Duffel statige herenhuizen of -hoeven. Sommige rijke geslachten bezaten hier een huis van plaisantie, d.i. een lusthof of buitenverblijf. De meeste van deze woningen leven nog alleen voort in de overlevering, of in de herinneringen van oudere Duffelaars. Sommige bouwwerken bleven gelukkig nog bewaard!
Kenmerkend voor het Duffels dorpssilhouet van weleer waren de windmolens. Met de torens van Ter Elst, St.-Martinus e.a. wedijverden zij in het beeld, dat de reizigers van ons dorp kregen, wanneer zij van ver naderden, te voet, met de diligence, of met een schuit langs de Nete.
In de schaduw van dat alles stonden de schamele, veelal lemen éénkamerwoningen van de werklieden en de laag gehurkte hoeven van het landvolk. Onder de zware mokerslagen van de Tachtigjarige oorlog hadden zij het hard te verduren gekregen. In het jaar van de vinding van het miraculeus beeldje van O.-L.-Vrouw (1637) lag Duffel er troosteloos bij: uitgebrande huizen en braakliggende gronden. Tussen de brug en de Zandmolen in de Mechelsebaan, stonden nog slechts enkele woningen overeind. Door de toeloop van bedevaarders in de jaren na de vinding van het Lievevrouwebeeldje, steeg de vraag naar overnachtingen. Dit stimuleerde de bouw van herbergen en afspanningen.
Wanneer wij in de achttiende eeuw onder de Oostenrijkse Habsburgers gekomen zijn, breekt een periode aan, waarin de woningbouw floreert. Er wordt nu meer en meer in steen gebouwd. De kabinetskaarten van graaf DE FERRARIS, getekend tussen 1771 en 1778, geven een vrijwel aaneengesloten bebouwing te zien vanaf de St.-Martinuskerk tot aan de Kapel. Voor het overige: veel hoeven, her en der verspreid. In die jaren was de bevolking trouwens bij ordonnantie verplicht aan landbouw te doen.
Van een gemeente met een sterk uitgesproken agrarisch karakter is Duffel ondertussen geëvolueerd tot een uitermate geïndustrialiseerde entiteit. Enkel de Mijlstraat heeft de landelijke aard van weleer nog enigszins weten te bewaren.
