Играл в английских клубах «Эвертон» и «Арсенал».

    В Англии Джо Мерсер — единственный футболист, кому удалось стать чемпионом страны как до Второй мировой войны, так и после нее. По одному этому факту нетрудно догадаться, что карьера у него была долгая и славная. Действительно: в качестве действующего игрока в общей сложности он провел 21 год. Мерсер — один из самых уважаемых и почитаемых игроков в истории лондонского «Арсенала», хотя в «Арсенале» он играл уже после войны. Но пришел на помощь клубу в самую тяжелую для него минуту.
    Начиналась карьера Мерсера с команды «Чеширс Кет», где он еще мальчишкой начал играть в нападении на месте левого крайнего. Довольно поздно, в восемнадцатилетнем возрасте, он был замечен скаутами ливерпульского «Эвертона». Первый свой профессиональный контракт он подписал в 1932 году. И удивительным образом сразу же, без проблем, прочно и надолго вписался в основной состав клуба. В сезоне 1938–1939 годов он завоевал свой первый чемпионский титул.
    Это случилось за несколько месяцев до начала Второй мировой войны. Во время нее регулярный чемпионат Англии не проводился, однако англичанин — и футболист, и зритель — не может без футбола. Поэтому были учреждены отдельные местные чемпионаты: Южная Футбольная Лига, Кубок Южной Футбольной Лиги, Военный Кубок Футбольной Лиги, Лондонский Военный Кубок, Лондонская Лига. Но Ливерпуль географически находится севернее, и «Эвертон», в отличие от того же лондонского «Арсенала», за всю войну провел лишь несколько десятков матчей.
    Однако «Арсенал» и пострадал гораздо сильнее — погибли 9 футболистов основного состава, не говоря уж о том, что бомбежки разрушили знаменитый стадион «Хайбери». Джо Мерсер стал одним из тех футболистов, что пришли знаменитой команде на помощь, чтобы восстановить ее заново.
    С его приходом в команду в 1946 году связан один из самых любопытных фактов в истории «Арсенала». Дело в том, что, подписывая контракт, Джо Мерсер оговорил непременное условие: играть он будет за «канониров», но… жить по-прежнему в Ливерпуле и тренироваться самостоятельно. И футбольный авторитет Мерсера был столь высок, что руководство лондонского клуба согласилось выполнить это удивительное требование. Так и получилось — Джо приезжал в Лондон только на матчи. Это было тем более удивительно, что не кто иной, как Мерсер, был… капитаном «Арсенала».
    Как бы то ни было, выдающийся футболист делал свое дело на поле. Именно он в немалой степени способствовал тому, что «Арсенал», созданный заново, не только оживал, но и претендовал на самые высшие ступени. Уже в сезоне 1947–1948 года «канониры» стали чемпионами. В 1950 году завоевали Кубок Англии.
    С историей этой победы связана пикантная история в карьере Джо Мерсера. Дело в том, что в финале Кубка «Арсенал» встречался ни с кем иным, как с «Ливерпулем». А житель Ливерпуля Мерсер как раз и тренировался… в составе этой команды и на ее стадионе «Энфилд Роуд». Поэтому накануне финала руководители «канониров» запретили ему тренироваться вместе с будущими противниками, полагая, что, глядя на Мерсера, ливерпульцы могут разгадать тактические замыслы «Арсенала».
    Возможно, именно эта предосторожность оказалась нелишней, именно «Арсенал» оказался сильнее, победив 2:0. Джо Мерсер получил Кубок Англии из рук его величества короля Георга VI. В том же 1950 Мерсер был назван лучшим футболистом Англии.
    В качестве капитана «Арсенала» он еще раз привел свой клуб к чемпионскому титулу в сезоне 1952–1953 годов, но этот сезон оказался для замечательного футболиста последним. Ему было уже 39 лет.
    Впрочем, он собирался отыграть еще один сезон, но помешала тяжелая травма — он сломал ногу.
    Джо Мерсер оказался не только выдающимся футболистом, но и весьма успешным тренером. Он возглавил сначала «Шеффилд Юнайтед», а затем «Астон Виллу». Первым его достижением стал выигрыш Кубка английской футбольной лиги. Это было в 1961 году, и Кубок тогда разыгрывался впервые. Руководимая Мерсером «Астон Вилла» в двух поединках одолела «Роттерхэм Юнайтед».
    В 1965 году Мерсер возглавил «Манчестер Сити», находившийся тогда во втором дивизионе. Уже через год клуб вышел в первый дивизион, а в сезоне 1967–1968 годов завоевал чемпионский титул. Но это было только начало триумфа. В 1969 году «Манчестер Сити» завоевал Кубок Англии. А весной 1970 года выиграл Кубок обладателей кубков, победив в финальном матче польский «Гурник» со счетом 2:1.
    Но тренерская судьба, всем известно, изменчива. В 1972 году Джо Мерсер возглавил «Ковентри Сити» в качестве президента клуба. В Ковентри он и работал до 1981 года, после чего решил уйти на отдых. Он доживал свои дни со славой футболиста, добившегося выдающихся успехов не только как игрок, но и как тренер. Кроме него, это мало кому удалось.