Frederico S. Oliveira

Frederico S. Oliveira

Developer. AI Engineer

© 2020

Dark Mode

Tacotron-2 Experiments

Neste artigo, são apresentados os resultados preliminares obtidos experimentalmente utilizando a Tacotron-2 com o BRSpeech TTS Dataset, em português brasileiro. Foram realizados quatro experimentos:

  • Teste Alpha: Tacotron-2 treino do zero.
  • Teste Beta: Tacotron-2 treino utilizando transfer learning a partir do Teste Alpha, com fine tuning em todo o modelo.
  • Teste Gamma: Tacotron-2 treino utilizando transfer learning a partir do Teste Alpha, com fine tuning apenas no decoder.
  • Teste Theta. Tacotron-2 treino multi-speaker.

Amostras Teste Alpha | Teste Theta

Sentença: Mas, não obstante essa diferença de quatorze anos, o casamento não lhes pareceu desproporcionado: queriam-se deveras..

Test Sample
Ground Truth
Alpha-1
Alpha-2
Alpha-3
Theta

Sentença: De repente desapareceu. Passado algum tempo vieram três pessoas reconduzindo-o: o pai, o correspondente e um criado.

Test Sample
Ground Truth
Alpha-1
Alpha-2
Alpha-3
Theta

Sentença: Ludgero encontrou-a um dia no Jockey Club, e aconteceu-lhe o mesmo que a todos os rapazes do seu gênero: enamorou-se dela.

Test Sample
Ground Truth
Alpha-1
Alpha-2
Alpha-3
Theta

Sentença: Como tardasse a estátua, Aristarco interinamente satisfazia-se com a afluência dos estudantes ricos para o seu instituto.

Test Sample
Ground Truth
Alpha-1
Alpha-2
Alpha-3
Theta

Sentença: Quando os visitantes invadiram a sala, notaram na linha dos trabalhos suspensas duas enigmáticas pontas de papel rasgado.

Test Sample
Ground Truth
Alpha-1
Alpha-2
Alpha-3
Theta

Mais amostras dos Testes Alpha podem ser verificadas em: soundcloud

Samples Beta Test | Gamma Test

Beta 1 x Gamma 1

Sentença: Amaro achava aquelas unhas admiráveis, porque tudo que era ela ou vinha dela lhe parecia perfeito.

Test Sample
Ground Truth
Beta-1
Gamma-1
Theta

Sentença: Espera, Henrique. Escuta. Não, não; não tenho negócio nenhum com o senhor. Adeus! disse e retirou-se precipitadamente.

Test Sample
Ground Truth
Beta-1
Gamma-1
Theta

Sentença: fê-la erguer bruscamente, ir por instinto procurar a escuridão da janela para ocultar a vermelhidão do rosto.

Test Sample
Ground Truth
Beta-1
Gamma-1
Theta

Sentença: Como não devia viver aflito e atribulado aquele coração!

Test Sample
Ground Truth
Beta-1
Gamma-1
Theta

Sentença: era linda. Ora depois de todos comerem a anta de Macunaíma a fome bateu no mocambo.

Test Sample
Ground Truth
Beta-1
Gamma-1
Theta

Mais amostras dos Testes Beta-1 estão disponíveis em: soundcloud

Beta 2 x Gamma 2

Sentença: Maldição! rugia ele lá consigo. Aquele maluco é bem capaz de desconcertar todos os meus planos.

Test Sample
Ground Truth
Beta-2
Gamma-2
Theta

Sentença: Adeus as boas manhãs passadas ao pé dela, vendo-a costurar! Adeus as alegres sobremesas, que se prolongavam à luz do candeeiro!

Test Sample
Ground Truth
Beta-2
Gamma-2
Theta

Sentença: sua tia, tendo liquidado o estabelecimento, se entregou a um caminho que o respeito me impedede qualificar:

Test Sample
Ground Truth
Beta-2
Gamma-2
Theta

Sentença: Deveras! declaro-te desde já que não estou disposta a ouvir tuas liberdades.

Test Sample
Ground Truth
Beta-2
Gamma-2
Theta

Sentença: Sofará agüentou a sova sem falar um isto. Jiguê não desconfiou de nada e começou trançando corda com fibra de curauá.

Test Sample
Ground Truth
Beta-2
Gamma-2
Theta

Mais amostras dos Testes Beta-2 estão disponíveis em: soundcloud

Testes Com Frases Diversas

Testes utilizando sentenças com palavras raras ou ausentes no vocabulário dos corpora.

Test Sample Sentença
Alpha-3 Ouviram do ipiranga às margens plácidas de um povo heróico o brado retumbante.
Alpha-3 Minha terra tem palmeiras onde canta o sabiá, as aves que aqui gorjeiam não gorjeiam como lá.
Gamma-2 No princípio Deus criou o céu e a terra, entretanto a terra era sem forma e vazia
Gamma-2 Amor é fogo que arde sem se ver é ferida que dói e não se sente é um contentamento descontente é dor que desatina sem doer.
Gamma-1 E agora José? A festa acabou, a luz apagou, o povo sumiu, a noite esfriou, e agora José?
Gamma-1 Vou-me embora pra Pasárgada, Lá sou amigo do rei, Lá tenho a mulher que eu quero, Na cama que escolherei!
Theta Olha que coisa mais linda, mais cheia de graça. É ela menina, que vem e que passa. Num doce balanço a caminho do mar.
Theta Todos esses que aí estão Atravancando meu caminho, Eles passarão… Eu passarinho!

Testes Iniciais (Sem Sucesso)

Testes utilizando o corpus JC.

Test Sample Descrição Erro
T1 Não consegue vocalizar palavras independente da quantidade de épocas.
T2 Após nova segmentação dos arquivos, ainda apresenta problemas de dicção.
T3 Continua apresentando problemas com palavras inexistentes no corpus.
T4 Apresenta problemas para finalizar a frase.
T5 Ainda apresenta problemas com palavras inexistentes no corpus.