7 aplicações de aprendizagem profunda para processamento de linguagem natural

7 aplicações de aprendizagem profunda para processamento de linguagem natural

O campo do processamento de linguagem natural está mudando de métodos estatísticos para métodos de rede neural.

Ainda existem muitos problemas desafiadores para resolver em linguagem natural. No entanto, os métodos de aprendizagem profunda estão alcançando resultados de última geração em alguns problemas específicos de linguagem.

Não é apenas o desempenho de modelos de aprendizado profundo em problemas de benchmark que é mais interessante; é o fato de que um único modelo pode aprender o significado das palavras e realizar tarefas de linguagem, eliminando a necessidade de um pipeline de métodos especializados e artesanais.

Nesta postagem, você descobrirá 7 tarefas interessantes de processamento de linguagem natural em que os métodos de aprendizado profundo estão alcançando algum progresso.

Comece seu projeto com meu novo livro Deep Learning for Natural Language Processing, incluindo tutoriais passo a passo e a Código-fonte Python arquivos para todos os exemplos.

Vamos começar.

7 aplicações de aprendizagem profunda para processamento de linguagem natural

7 aplicações de aprendizagem profunda para processamento de linguagem natural
Foto de Tim Gorman, alguns direitos reservados.

Visão geral

Nesta postagem, veremos os 7 problemas de processamento de linguagem natural a seguir.

  1. Classificação de Texto
  2. Modelagem de Linguagem
  3. Reconhecimento de fala
  4. Geração de legenda
  5. Maquina de tradução
  6. Resumo de Documentos
  7. Resposta a Perguntas

Tentei focar nos tipos de problemas do usuário final nos quais você pode estar interessado, em oposição a subproblemas mais acadêmicos ou linguísticos em que o aprendizado profundo se sai bem, como marcação de parte da fala, chunking, reconhecimento de entidade nomeada, e assim por diante.

Cada exemplo fornece uma descrição do problema, um exemplo e referências a documentos que demonstram os métodos e resultados. A maioria das referências são tiradas da excelente cartilha de 2015 de Goldberg sobre aprendizado profundo para pesquisadores de PNL.

Você tem um aplicativo de PNL favorito para aprendizado profundo que não está listado?
Deixe-me saber nos comentários abaixo.

Precisa de ajuda com Deep Learning for Text Data?

Faça meu curso intensivo de e-mail gratuito de 7 dias agora (com código).

Clique para se inscrever e também obter uma versão gratuita do Ebook em PDF do curso.

Comece Seu Crash-Course GRÁTIS Agora

1. Classificação do Texto

Dado um exemplo de texto, preveja um rótulo de classe predefinido.

O objetivo da categorização de texto é classificar o tópico ou tema de um documento.

- Página 575, Foundations of Statistical Natural Language Processing, 1999.

Um exemplo de classificação popular é a análise de sentimento, em que os rótulos das classes representam o tom emocional do texto de origem, como “positivo" ou "negativo“.

Abaixo estão mais 3 exemplos:

  • Filtragem de spam, classificando o texto do email como spam ou não.
  • Identificação do idioma, classificando o idioma do texto fonte.
  • Classificação de gênero, classificando o gênero de uma história de ficção.

Além disso, o problema pode ser enquadrado de uma forma que requer múltiplas classes atribuídas a um texto, a chamada classificação de múltiplos rótulos. Como prever várias hashtags para um tweet de origem.

Para mais informações sobre o tópico geral, consulte:

Abaixo estão 3 exemplos de papéis de aprendizagem profunda para classificação de texto:

  • Análise de sentimento de críticas de filmes de tomate podre.
  • Análise de sentimento de análises de produtos amazon, análises de filmes IMDB e categorização de tópicos de artigos de notícias.
  • Análise de sentimento de resenhas de filmes, classificando frases como subjetivas ou objetivas, classificando tipos de perguntas, sentimento de resenhas de produtos e muito mais.

2. Modelagem de Linguagem

A modelagem de linguagem é realmente uma subtarefa de problemas de linguagem natural mais interessantes, especificamente aqueles que condicionam o modelo de linguagem em alguma outra entrada.

… O problema é prever a próxima palavra com as palavras anteriores. A tarefa é fundamental para o reconhecimento ótico ou de fala e também é usada para correção ortográfica, reconhecimento de caligrafia e tradução automática estatística.

- Página 191, Foundations of Statistical Natural Language Processing, 1999.

Além do interesse acadêmico em modelagem de linguagem, é um componente-chave de muitas arquiteturas de processamento de linguagem natural de aprendizado profundo.

Um modelo de linguagem aprende a relação probabilística entre palavras, de forma que novas sequências de palavras podem ser geradas que sejam estatisticamente consistentes com o texto de origem.

Sozinhos, os modelos de linguagem podem ser usados ​​para geração de texto ou fala; por exemplo:

  • Gerando novos títulos de artigos.
  • Gerando novas frases, parágrafos ou documentos.
  • Gerando sugestão de continuação de uma frase.

Para obter mais informações sobre modelagem de linguagem, consulte:

Abaixo está um exemplo de aprendizado profundo para modelagem de linguagem (apenas):

  • Modelo linguístico de textos, livros e notícias em inglês.

3. Reconhecimento de fala

O reconhecimento de fala é o problema de entender o que foi dito.

A tarefa do reconhecimento de voz é mapear um sinal acústico contendo uma expressão falada em linguagem natural na sequência correspondente de palavras pretendida pelo falante.

- Página 458, Deep Learning, 2016.

Dado um enunciado de texto como dados de áudio, o modelo deve produzir texto legível por humanos.

Dada a natureza automática do processo, o problema também pode ser chamado de Reconhecimento Automático de Fala (ASR).

Um modelo de idioma é usado para criar a saída de texto condicionada aos dados de áudio.

Alguns exemplos incluem:

  • Transcrever um discurso.
  • Criação de legendas de texto para um filme ou programa de TV.
  • Emitir comandos para o rádio durante a condução.

Para obter mais informações sobre reconhecimento de voz, consulte:

Abaixo estão 3 exemplos de aprendizado profundo para reconhecimento de fala.

  • Discurso de inglês para texto.
  • Discurso de inglês para texto.
  • Discurso de inglês para texto.

4. Geração de legenda

A geração de legendas é o problema de descrever o conteúdo de uma imagem.

Dada uma imagem digital, como uma foto, gere uma descrição textual do conteúdo da imagem.

Um modelo de linguagem é usado para criar a legenda que está condicionada na imagem.

Alguns exemplos incluem:

  • Descrever o conteúdo de uma cena.
  • Criando uma legenda para uma fotografia.
  • Descrevendo um vídeo.

Não se trata apenas de um aplicativo para deficientes auditivos, mas também de geração de texto legível por humanos para dados de imagem e vídeo que podem ser pesquisados, como na web.

Abaixo estão 3 exemplos de aprendizado profundo para geração de legenda:

  • Gerando legendas para fotografias.
  • Gerando legendas para fotografias.
  • Gerando legendas para vídeos.

5. Tradução automática

A tradução automática é o problema de converter um texto-fonte de um idioma para outro.

A tradução automática, a tradução automática de texto ou fala de um idioma para outro, é uma [of] as aplicações mais importantes da PNL.

- Página 463, Foundations of Statistical Natural Language Processing, 1999.

Dado que redes neurais profundas são usadas, o campo é conhecido como tradução automática neural.

Em uma tarefa de tradução automática, a entrada já consiste em uma sequência de símbolos em algum idioma, e o programa de computador deve converter isso em uma sequência de símbolos em outro idioma. Isso é comumente aplicado a línguas naturais, como a tradução do inglês para o francês. O aprendizado profundo começou recentemente a ter um impacto importante nesse tipo de tarefa.

- Página 98, Deep Learning, 2016.

Um modelo de idioma é usado para produzir o texto de destino no segundo idioma, condicionado ao texto de origem.

Alguns exemplos incluem:

  • Tradução de um documento de texto do francês para o inglês.
  • Tradução de áudio espanhol para texto alemão.
  • Tradução de texto em inglês para áudio italiano.

Para mais informações sobre tradução automática neural, consulte:

Abaixo estão 3 exemplos de aprendizado profundo para tradução automática:

  • Tradução de texto do inglês para o francês.
  • Tradução de texto do inglês para o francês.
  • Tradução de texto do inglês para o francês.

6. Resumo do Documento

O resumo de documentos é a tarefa em que uma breve descrição de um documento de texto é criada.

Como acima, um modelo de linguagem é usado para produzir o resumo condicionado ao documento completo.

Alguns exemplos de resumo de documentos incluem:

  • Criação de um título para um documento.
  • Criando um resumo de um documento.

Para saber mais sobre o assunto, consulte:

Abaixo estão 3 exemplos de aprendizado profundo para resumo de documentos:

  • Resumo de frases em artigos de notícias.
  • Resumo de frases em artigos de notícias.
  • Resumo de frases em artigos de notícias.

7. Resposta a perguntas

A resposta a perguntas é o problema em que determinado assunto, como um documento de texto, responde a uma pergunta específica sobre o assunto.

… Sistemas de resposta a perguntas que tentam responder a uma consulta do usuário formulada na forma de uma pergunta retornando a frase nenhuma apropriada, como um local, uma pessoa ou uma data. Por exemplo, a pergunta Por que matou o presidente Kennedy? pode ser respondido com o sintagma nominal Oswald

- Página 377, Foundations of Statistical Natural Language Processing, 1999.

Alguns exemplos incluem:

Para obter mais informações sobre como responder a perguntas, consulte:

  • Respondendo a perguntas sobre artigos da Wikipedia.
  • Responder a perguntas sobre artigos de notícias.
  • Responder a perguntas sobre registros médicos.

Abaixo estão 3 exemplos de aprendizado profundo para responder a perguntas:

  • Responder a perguntas sobre artigos de notícias.
  • Respondendo a perguntas de conhecimento geral sobre artigos de base gratuita.
  • Responde a perguntas factóides dadas documentos específicos.

Leitura Adicional

Esta seção fornece mais recursos sobre aplicativos de aprendizado profundo para PNL, se você estiver procurando um aprofundamento.

Resumo

Nesta postagem, você descobriu 7 aplicações de aprendizado profundo para tarefas de processamento de linguagem natural.

O seu exemplo favorito de aprendizado profundo para PNL foi perdido?
Deixe-me saber nos comentários.

Você tem alguma pergunta?
Tire suas dúvidas nos comentários abaixo e farei o possível para responder.

Desenvolva modelos de aprendizado profundo para dados de texto hoje!

Aprendizado profundo para processamento de linguagem natural

Desenvolva seus próprios modelos de texto em minutos

... com apenas algumas linhas de código python

Descubra como em meu novo Ebook:
Aprendizado profundo para processamento de linguagem natural

Ele fornece tutoriais de auto-estudo em tópicos como:
Bag-of-Words, Word Embedding, Language Models, Caption Generation, Text Translation e muito mais...

Finalmente, leve o aprendizado profundo para seus projetos de processamento de linguagem natural

Ignore os acadêmicos. Apenas resultados.

Veja o que há dentro

Você também pode estar interessado em