L’église St Jean-Baptiste de style néo-gothique a été construite entre 1892 et 1896. L’architecte choisi est Alfred Masson de Calais qui s’inspire de l’église de Brêmes-les-Ardres. La municipalité a fini de rembourser le coût de cette reconstruction en 1927 ! L’église a été construite en briques rouges. Le porche s’élève sur une base en marbre gris surmonté de moellons calcaires. Le clocher, restauré plusieurs fois depuis sa construction, abrite derrière ses abat-son deux cloches, l'une de 544 kg nommée Marie-Adèle-Hélène-Ester, la deuxième de 154 kg nommée Marie-Louise-Zoé, toutes deux baptisées en 1897. La petite cloche est une cloche refondue, on peut donc facilement supposer qu'elle provient de l'ancienne église. A l’entrée, à gauche du porche, un bénitier en pierre noire datant de 1667 reste le seul vestige authentique de l'ancienne église.

Le plafond est une voûte en bois assez exceptionnelle pour une église de cette taille.

Plus loin sur le mur de gauche trône la statue de Jeanne d'Arc. Celle ci fût offerte par Monsieur Coquerel-Bloume et fût bénie par l'abbé Guilbert doyen d'Audruicq en présence de Monseigneur Debout, archiprêtre de Notre Dame de Calais, le 21 septembre 1913. Cette bénédiction donna lieu à une grande fête dite « Religieuse et Patriotique » au cours de laquelle neuf chars, représentant la vie de Jeanne d'Arc défilèrent dans les rues de Guemps, toute la population du village contribua à la réussite de l'évènement.

Du 1er janvier 1916 au 1er février 1919, un hôpital militaire belge se trouve sur la commune. 56 corps de soldats belges n’ont pas été rapatriés et reposent dans le cimetière dans lequel se trouvent aussi les sépultures de deux soldats et de trois aviateurs anglais.

Sur les murs latéraux, on peut remarquer le magnifique chemin de croix en bois peint et les statues des Saints encore dans leurs couleurs d'origine.

A droite dans le chœur se trouve une statue en bois offerte par un habitant de Guemps. Cette statue en bois peinte retrouvée dans un grenier est en assez mauvais état et des traces de restauration anarchique sont visibles à plusieurs endroits. Cette statue est vraisemblablement une représentation de Saint Hilaire de Poitiers.

Le territoire de Guemps resta longtemps marécageux. Dès le XIIème siècle, l’abbaye Notre Dame de la Capelle y possède une église. A partir de 1223, le territoire de la commune est mis en valeur par des moines de Licques. L’eau recouvrait le sol jusqu’en 1347. Guemps viendrait du mot celtique « guimp » qui signifie écluse. Après leur installation à Calais, à partir de 1347, les Anglais établissent des forts sur le territoire de Guemps : le fort brûlé, le fort rouge et un fort sur le pont de Guemps, le fort Louis. A la fin de la guerre de trente ans, ces forts tombent aux mains des Espagnols. En 1643, le fort du pont de Guemps brillamment défendu par Paresis est pris par Francisco de Melo. Le fort rouge tombe peu après aux mains des Français. En 1677, lorsque Louis XIV s’impose en Artois tous ces forts sont détruits…. Nous savons peu de choses de la première église. Un texte la mentionne en 1747. Cette église a été complètement détruite par une tempête le 27 janvier 1884.

Saint Jean-Baptiste est le prophète ayant annoncé la venue de Jésus avant de le baptiser. C’est lui qui a instauré le baptême dans l’eau. Il est souvent représenté vêtu d’une peau de bête et accompagné d’un agneau. St Jean-Baptiste serait né le 24 juin, soit 6 mois avant Noël. Traditionnellement, les saints sont fêtés le jour de leur mort. St Jean-Baptiste lui est fêté le jour de sa naissance. Les feux de la St Jean sont une tradition encore bien vivante dans de nombreux villages.