Carioca, adotou o apelido Nelson Cavaquinho desde jovem, quando tocava o instrumento nas rodas de samba promovidas pelos operários da fábrica em que trabalhava. Alegando que o instrumento era muito pequeno, passou para o violão. Na década de 30 aproximou-se de sambistas da Mangueira, como Cartola, Carlos Cachaça e Zé da Zilda, para quem passou a mostrar seus sambas simples e fundamentais. Por essa época, vendia-os por pouco dinheiro. Começou a fazer algum sucesso como compositor nos anos 40, quando Cyro Monteiro gravou algumas de suas músicas. Em meados da década de 50 conheceu o parceiro Guilherme de Brito, com quem compôs sambas como "A Flor e o Espinho" (com Alcides Caminha), "Folhas Secas", Quando Eu Me Chamar Saudade" e "Pranto de Poeta". Foi uma das atrações do bar Zicartola, mantido por Cartola e a esposa Zica, onde foi descoberto, em meados dos anos 60, pelos intelectuais. Nos anos 60 teve músicas gravadas por Elizeth Cardoso, e em 1966 a CBS lançou um disco só com composições suas, com a cantora Telma Costa, produzido por Sérgio Porto, o Stanislaw Ponte Preta, em que aparece também como intérprete em algumas faixas. Com sua voz rouca, deixou gravados outros discos, em que interpreta, além das já citadas, "O Bem e o Mal" (com G. de Brito), "Juízo Final" (com Elcio Soares), "Pode Sorrir" (com G. de Brito), "Eu e as Flores" (com Jair do Cavaquinho), "Rugas" (com Ary Monteiro/ Garcez), "Rei Vadio" (com Joaquim), "Vou Partir" (com Jair Costa), "Minha Festa" (com G. de Brito), "Degraus da Vida" (com Cesar Brasil/ Antônio Braga), "Luto" (com Sebastião Neves/ G. de Brito), "Notícia" (com Alcides Bahia/ Alcides Caminha), "Palhaço" (com Oswaldo Martins/ Washington). Consagrado como um dos maiores sambistas do Brasil, foi gravado por diversos cantores, desde Chico Buarque e Paulinho da Viola até Arnaldo Antunes, que fez uma recriação para "Juízo Final" em seus disco