Né dans une famille juive marocaine, il est diplômé du Centre de formation des journalistes de Paris. Il est depuis 1966 l’époux de la femme de lettres Katia Brami, avec qui il a trois filles, dont Sabrina, productrice, et Audrey, ministre française de la Culture en 2016-2017 et directrice générale de l’UNESCO depuis le 13 octobre 2017.
Le Conseiller du Roi Mohammed VI, André Azoulay se dit aussi «acteur culturel». On lui doit, entre autres, deux initiatives de grande envergure, le Festival du film de Marrakech et les Gnaoua d’Essaouira, sa ville natale. Ces deux festivals ont fait à la fois des petits et des émules. Son influence apaisante et modernisatrice est de la plus haute importance au Maroc.