Não há registo de ocupação permanente no período pré-colonial, sendo a área visitada por pescadores suaílis e malgaxes. A primeira tentativa de ocupação portuguesa apenas ocorreu em meados do século XIX com a construção de um fortim, que foi abandonado poucos anos depois.

A ocupação definitiva apenas viria a ter lugar em 1898 quando a recém-formada Companhia do Niassa, que detinha poderes de administração do território, elevou um pequeno posto comercial à categoria de povoação. Pouco tempo depois Pemba torna-se Porto Amélia em homenagem à última rainha portuguesa.

Com o fim da concessão da Companhia do Niassa em 1929, Pemba torna-se capital do recém-criado Distrito de Cabo Delgado. Este facto põe ponto final à transferência da administração portuguesa desta região da vila do Ibo para Pemba. Esta transferência correspondeu a mudanças no transporte marítimo – navios maiores – que beneficiavam das excelentes características do porto natural de Pemba, e à ocupação e exploração do interior do território, para a qual Pemba estava melhor localizada.

Porto Amélia foi elevada à categoria de vila em 19 de Dezembro de 1934 e a cidade em 18 de Outubro de 1958, regressando à designação Pemba depois da independência nacional, em Março de 1976. Desde Dezembro de 2013 é também um distrito, uma unidade local do governo central para administrar as suas competências. O antigo distrito de Pemba-Metuge a que pertencia, tomou o nome de Metuge na mesma altura (sem incluir já a cidade).