Ce couvent de cordeliers fut fondé en 1226, hors les murs, au faubourg du Temple, là où se trouvait une chapelle appartenant au seigneur de Chamesson : de 1230 à 1248 eut lieu la construction du couvent et de son église qui englobait la chapelle des sires de Chamesson.

L'église fut consacrée en 1248 sous le vocable de l'Annonciation. Ces travaux avaient été financés en grande partie par le duc de Bourgogne, Hugues IV, puis par son fils Robert. Les ducs Jean-Sans-Peur et Philippe-le-Bon financèrent à leur tour des travaux d'embellissement.

Le couvent fut presque entièrement détruit pendant les guerres de Religion, en 1594, lorsque le baron de Thenissey, gouverneur de la ville, fit raser les faubourgs afin d'empêcher les troupes du roi de s'y établir : l'église fut partiellement épargnée. Vers 1608 débutèrent les travaux de reconstruction ; le cloître fut rebâti vers 1645, grâce à Louis Vignier, baron de Ricey. Faute de moyens suffisants, les travaux dureront jusqu'aux environs de 1688 (date gravée sur une lucarne de l'aile ouest) , bénéficiant finalement de la générosité de Louis XIV (2000 livres en 1687 et 5200 livres en 1690) . En 1705-1711, l'église qui se lézardait depuis 1698 fut consolidée.

Le 12 mars 1791, le couvent fut vendu comme bien national à Petiet et Bazile qui s'étaient portés acquéreurs pour J. B. Garnier de Cernay. En 1811,

l'ancien couvent fut donné en dot à Jeanne Garnier de Cernay lors de son mariage avec Claude Simonet de Coulmiers qui transforma l'édifice en hôtel.

C'est vraisemblablement à cette époque que les arcades du cloître furent partiellement murées et l'élévation Est du corps de bâtiment Est remaniée (baies couvertes d'un arc segmentaire) .
En 1832, C. Simonet de Coulmiers fit démolir l'église et la galerie sud du cloître qui barraient son champ visuel.
A la suite de cette démolition, l'extrémité sud du corps de bâtiment ouest fut remaniée, incluant les vestiges de l'angle sud-ouest de l'église du 13e siècle ; afin que l'élévation sud du corps de bâtiment Est soit d'équerre alors que le plan du cloître était trapézoïdal, il fallut la reconstruire.
Cette nouvelle élévation fut bâtie au sud du mur nord (conservé) de l'église.

Acheté par la municipalité, le couvent a été transformé en beaux logements….