O WordPress por padrão tem um arquivo .htaccess , que tem a função de modificar a URL (endereço do site) , ou seja, quando você acessa aquele site: www.meudominio.com.br/contato , e não www.meudominio.com.br/contato.php , quem faz a magica de retirar esse .php da url, é o .htaccess.
Lembrando que o .htaccess faz outras coisas, como redirecionamentos e muito mais. Vale a pena aprender um pouco sobre esse arquivo oculto da nossa hospedagem.
Vamos ver como resolver o problema no WordPress.
Acesse no menu lateral:
Configurações > Links Permanentes
Na Página de Links permanentes, modifique a opção e salve, se estiver em padrão, mude para Nome do Post e Salve.
Abaixo a Opção
Clique no botão para salvar alterações.