Cet édifice dit Auditoire Royal fut construit au cours du 1er quart du 17e siècle pour abriter le bailliage de la Montagne et l'hôtel de ville du quartier du Bourg : d'après Bourceret, les maisons qui se trouvaient à cet emplacement furent achetées en 1607, et, par lettres patentes du 10 janvier 1611, il fut octroyé la somme de 4000 livres sur tout le bailliage pour la construction de l'auditoire royal et de l'hôtel de ville.

La date 1619 est gravée sur les poutres des cachots qui occupent l'étage de soubassement du bâtiment principal.

Lorsque fut créée, après de nombreuses difficultés, une administration municipale commune aux quartiers du Bourg et de Chaumont (lettres patentes du roi Louis XIII en 1638) , l'Auditoire Royal resta le siège de l'hôtel de ville désormais commun aux deux quartiers.

En 1654, la chambre de ville et sa décoration furent entièrement refaites (inscription commémorative classée au titre objet en 1925) . Sous l'Ancien Régime, le bâtiment abritait également le présidial et la chambre de police.

Il fut le siège du tribunal de district pendant la Révolution.

Donné à l'Etat en 1805, en échange de l'ancien couvent des Carmélites, le bâtiment fut entièrement transformé en prison et le demeura jusqu'en 1926.

C'est en tant que Directeur de cette prison que le père de Francis Carco vint y travailler.

Dans le courant du 19e siècle, on reconstruisit l'escalier extérieur qui, depuis la cour antérieure donnait accès au rez-de-chaussée surélevé.

Depuis 1945, l'édifice est occupé par la bibliothèque municipale. La grille d'entrée, avec porte à deux battants en fer forgé datant du 18e siècle, provient de la maison de Charité détruite en 1940.