Par lettres du 25 mai 1616, Antoine du Chastel érige ce fief au relief d’une parie d’éperons d’argent massifs pesant 12 onces. Il contient 11 cents et 25 verges de jardin , verger et manoir, amasés de maison de plaisance et autres édifices, tenant de deux sens au riez d’Haubourdin. Par suite de différentes acquisitions la propriété comprend bientôt 14 cents et 55 verges.
Antoine du Chastel, vicomte d’Haubourdin, érige également ce fief en moyenne et basse justice. A cette époque, il se prétend encore seigneur souverain d’Haubourdin et veut par la création de ce fief vicomtier prouver ses droits de façon indiscutable. Cette création ne fut pourtant jamais autorisée ni approuvée du prince par aucne lettre patente ni aucun dénombrement de la seigneurie d’Haubourdin. Il ne faut donc considérer ce fief que comme un simple fief sans aucun droit de justice ni de seigneurie.
Cambrebecque, parfois nommé Cantelbecq, Canterbecke, Cantrebecke ou camferbeke, est le nom du premier possesseur du fief, écuyer, gentilhomme de la compagnie du capitaine de sars puis grand bailli d’Haubourdin et d’Emmerin. Le 29 novembre 1609, il a épousé à Tournai Agnès de Farvacques, fille d’Antoine et de Jeanne Joseph, sa seconde femme. De ce mariage naît Eléonore de Camfrebecque qui épouse Antoine de Séneschal, fils d’Antoine et d’Antoinette Cuvelier, natif de Lestrem, seigneur de la Haute Porte, bailli général de la vicomté d’Haubourdin et d’Emmerin, bourgeois de Lille par achat du 29 novembre 1635, qui se retire à Merville en 1661 et y décède en 1667.
Antoine Duriez, fils de Jacques et de Catherine Destailleurs, nommé bailli d’Haubourdin le 3 août 1661, relève le fief de Camfrebecque le 8 juin 1674, au nom de sa femme Eléonore Séneschal, fille du précédent, et avec son beau-frère Jean-Baptiste Séneschal, marchand à Lille.
Par acte de partage du 22 mai 1676, le fief passe à l’aîné des neuf enfants d’Antoine, Jean François Duriez, bourgeois de Lille le 7 mars 1687, procureur, brasseur juré et héréditaire d’Haubourdin, Emmerin, Wavrin, Ligny et le Maisnil en 1694, puis notaire, conseiller héréditaire de la vicomté le 22 septembre 1695. C’est ce Jean-François Duriez qui bâtit, en 1714 comme en faisait foi une moulure de la cuisine, le château « Vanderhaghen », du nom du dernier propriétaire qui le légua à la ville d’Haubourdin. Le 29 septembre 1687, il épouse en premières noces Marie-Elisabeth Blauwart, fille de Philippe et d’Elisabeth Herry et le 2 août 1694, Antoinette Lefebvre. Il eut 4 enfants du premier mariage et 6 du second. Il meurt à Lille le 13 décembre 1719.
Le château bâti en 1714 par Jean-François Duriez sur le fief de Camfrebecque
L’un des enfants de Jean-François Duriez, Louis-Sidron Duriez, né le 9 janvier 1691, est grand bailli de l’abbaye de Loos et épouse Marie-Philippine Bosquet le 30 août 1718. Il est seigneur de Camfrebecque en 1732. Il est à cette date ne procès avec ses voisins au sujet d’un droit de passage pour aller joindre la piedsente qui conduit à la chaussée et pour aller à une petite chapelle de dévotion et à l’église. Il vend son fief en 1765 à demoiselle Marie-Joseph Couturier dite Prudhomme de Camfrebecq qui le revend le 16 septembre 1768 à Jean-François Gamonet, directeur des domaines du Roi en Flandre et Artois et demeurant à Lille.
En 1783, la maison de plaisance ou château est occupée par Alexandre-Magloire qui l’a acheté en août 1788 de la veuve de Jean-François Gamonet.
L’ancien fief de Camfrebecque devient la propriété de Gustave Menche de Loisnes, maire d’Haubourdin de 1852 à 1864, puis à Albert Vanderhaghen qui fera don de son château à la ville.