Le château aurait été démoli sur ordre de Richelieu.
C’est le 31 juillet 1626 , qu’est prise la décision de raser les châteaux et forteresses non situés aux frontières du royaume
[…] autre chose le château de Castillon, sis à Castillon, couronnant la colline dite aujourd’hui « du Calvaire », démoli vers le milieu du XVIIe siècle.
— « Cahier d’information faite par ordre de M. le duc d’Epernon « (gouverneur de Guyenne) concernant la démolition du château de « Castillon, cinq pièces sur papier. » —
Inventaire des archives de la famille Du Pac de Marbé, à qui depuis plus d’un siècle appartenait la capitainerie du château de Castillon. ]
Le duc d’Épernon est nommé gouverneur militaire de Guyenne (Aquitaine) de 1622 à 1638
autre référence
Anciens châteaux du Couserans par Guillaume Parracha 1993.
Vers 1700, ses murs étaient ébréchés, par le temps et le manque d’entretien, eux seuls responsables de sa « destruction » progressive, et non quelque ordonnance de Louis XIII.
Le 21 pluviôse an IX (10/02/1801) , il en restait des « pierres » mais une délibération municipale défend « dans ce seul endroit d’agrément de la commune, d’enlever des terres, du gravier, du sable, sauf dans le moellon qui est au-dessus de la chapelle, appelé la tour, où tout particulier pourra prendre des pierres avec autorisation ».
Château de Castillon (démolition)
Il n’en reste plus une aujourd’hui, mais en avril 1790, on accusait Estaque, et quelques autres officiers municipaux, d’avoir « démoli une tour au calvaire, pour en convertir les pierres à leur profit ». Enquête eut lieu, la pillage continua, dans l’euphorie des années révolutionnaires, réduisant à néant l’antique bâtisse féodale.