On n’entend plus parler de la tapisserie, jusqu’en 1562. À cette époque, la France est au beau milieu des guerres de religion. La cathédrale de Bayeux est victime des huguenots protestants. Reliques, statues, trésor, tout est mis à sac. C’aurait pu être la fin de la tapisserie, si des religieux ne l’avaient pas cachée avant.
Au 18e siècle, on commence à entendre parler de cette œuvre en dehors de Normandie. On retrouve d’anciens dessins la recopiant, et on se demande bien où elle se cache. C’est un moine historien qui retrouve sa trace et décide de l’appeler "tapisserie de la reine Mathilde".
Puis, vient la Révolution française. Avec l’effacement systématique des traces laissées par des siècles de royauté, on n’aurait pas été surpris d’apprendre que la tapisserie eut été brûlée ou déchirée. On dit que vers 1794, les révolutionnaires de Bayeux ont failli la découper et s’en servir comme bâche pour couvrir des chariots d’approvisionnement, mais ont été stoppés juste à temps. D’autres sources mentionnent également un second incident, lors d’une fête locale, qui aurait vu l’œuvre être presque découpée en bandeaux pour décorer un char. Heureusement, il n’en fut rien.
Au début des années 1800, une petite compétition s’installe entre Bayeux et le musée de Caen. Le conservateur de ce dernier entend bien faire venir la broderie dans son établissement, qui est censé conserver les chefs-d’œuvre normands. À Bayeux, on ne veut évidemment rien savoir, la tapisserie est ici depuis des siècles, elle ne bougera pas.