En juillet 1953, lors d'une fête organisée à Londres pour la première de Vacances Romaines, Gregory Peck présente Audrey à un de ses amis, Mel Ferrer. Celui-ci a déjà divorcé deux fois, est père de quatre enfants, acteur, metteur en scène et réalisateur, et de douze ans son aîné. La chimie entre eux est instantanée et ils tombent très vite amoureux.
Il lui envoie le scénario de la pièce Ondine, qui devra être jouée à Broadway, et dans laquelle il espère qu'ils auront les deux rôles principaux. Elle l'aime et est d'accord si Mel est son partenaire. C'est le début d'une longue collaboration artistique.
En août 1954, Mel Ferrer la rejoint en Suisse et la demande en mariage, ce qu'elle accepte. Ils se marient civilement le 24 septembre à Buoche, sur le rivage du Lac Lucerne (Suisse), et confirment leurs vœux religieusement le lendemain, dans la chapelle de Bürgenstock.
Le 17 juillet 1960 à Lucerne, Audrey donne naissance à leur fils, Sean.
Suite à de nombreux différents professionnels (Mel veut qu'elle fasse plus de films, tandis qu'Audrey souhaite passer plus de temps avec Sean), on annonce en septembre 1967 qu'Audrey et Mel vivent maintenant séparés. Ils divorcent officiellement le 20 novembre 1968.