Depuis la plus haute antiquité, le site d'Anduze a été occupé par de nombreuses civilisations.
De la préhistoire, il nous reste des tombes mégalithiques (celle de la Grande Pallière par exemple), des menhirs et plus rarement des roches à cupules (dessins sculptés dans la pierre).
Le rocher, au flanc duquel la ville a été construite, porte à son sommet un Oppidum gaulois et un Castrum romain.

C'est par sa position défensive que le rocher de Saint-Julien a favorisé l'implantation d'une zone habitée, qui peu à peu s'est développée, en se rapprochant des bords du Gardon.
Au XIIe siècle, la Seigneurie d'Anduze était la plus puissante du Languedoc.

Au XVIe siècle, la ville comptait plus de 7 000 habitants, qui vivaient à l'intérieur des murailles. Ainsi s'explique la complexité du réseau de routes et de ruelles.