Au Vème siècle de notre ère, on trouve dans la plaine de l’Ardèche deux grandes exploitations agricoles, les « Villae romaines ». Avec la chute de l’empire romain d’occident en 476, va s’agréger autour de ces fermes un nouvel habitat rural.
A cette même époque, les seigneurs évêques du Puy en Velay et les comtes évêques de Viviers dans la vallée du Rhône, vont prendre conscience du potentiel stratégique du promontoire rocheux qui domine la vallée. Ils se livreront une lutte d’influence pour sa possession.
Au XIème, ce sont les évêques du Puy qui l'emportent et décident d'inféoder les terres d'Aubenas à leur vassal, le seigneur de Montlaur, originaire du plateau ardéchois. Il épouse la fille du comte d'Ucel ancien seigneur des lieux. Dans un premier temps, il s'installe au pont d'Aubenas dans un logis situé au bord de la rivière pour surveiller le passage du pont à péage présent depuis au moins l'an mil. Puis, voyant deux familles nobles, les Taulignan seigneurs de la Barre en Lozère et les Géorand, originaires du plateau, s'installer sur la colline, le seigneur de Montlaur va faire édifier une tour de pierre de 25 m de haut, symbole de son pouvoir féodal : le donjon.
Durant les XIIème et XIIIème siècles, ils vont édifier autour de ce donjon le rempart du château. Les tours rondes sont, elles, construites à la fin du XIIIe.
Ce bâtiment apparaît alors comme un château fort médiéval typique austère et défensif. L'entrée se fait à cette époque par un pont-levis à l'ouest.
La ville va grandement se développer au cours du moyen-âge grâce à son dynamisme économique. Elle gagnera aussi une importance politique puisqu'elle est choisie en 1209 pour recevoir une importante réunion entre le légat du pape innocent III, Arnaud Amaury et le comte de Toulouse Raymond VI.
Cette conférence a pour but de pacifier le Languedoc en proie aux révoltes cathares. L'échec de cette réunion, dit-on, incitera le pape à déclencher la croisade contre les Albigeois.
Un siècle plus tard, la province du Vivarais est rattachée au royaume de France par le roi Philippe IV le bel.
Il a décider de transformer la forteresse en un manoir d'habitation et d'apparat.
Pour cela il va s'inspirer de ses séjours en Bourgogne, où il a pu observer les toits aux tuiles vernissées des hospices de Beaune. Il va faire percer les premières fenêtres à meneaux et dotées de grilles de fer sur la façade sud et la porte à bossage de la tour ouest dans le style Louis XIII . Il y a longtemps eu une dichotomie entre la ville basse, arrosée par la rivière et de nombreuses sources et la ville haute qui pendant 700 ans sera appelée la ville sans eau.
Les moines de l'abbaye de Mazan ont ainsi creusé un canal qui sera à l'origine du développement économique de la ville (moulin, foulon pour le drap).
Les deux foires annuelles rassemblaient de nombreux paysans habitant non seulement les environs immédiats, mais également des villages plus éloignés des Cévennes et même du plateau ardéchois.
Des manufactures de drap de laine, de mouchoirs en coton et de soie s'installent dans la vallée et feront la richesse de plusieurs familles.
Les familles célèbresAprès la crise de la soie, Aubenas reste une ville commerçante, on compte encore environ 500 commerces pour 12 500 habitants.