La Mothe d'Allot ou d'Hallot était à l'origine une modeste villa construite sur une butte élevée des bords de la Garonne.
C'est la famille d'Hallot propriétaire des lieux depuis la fin du XVIe siècle qui donna son nom à cette mothe.
A la fin du XVIIIe siècle, le château devint la propriété de Chrysostôme de Sévin, seigneur de Ganet et de Ségougnac, qui fut maire d'Agen sous Napoléon Ier. On sait qu'en 1880 ce lieu fut grandement remanié et restauré par son propriétaire monsieur Chaudordy, ancien député qui fut aussi ambassadeur en Suisse, en Espagne et en Russie.