Promessa de Deep Learning para Processamento de Linguagem Natural

Promessa de Deep Learning para Processamento de Linguagem Natural

A promessa do aprendizado profundo no campo do processamento de linguagem natural é o melhor desempenho por modelos que podem exigir mais dados, mas menos experiência linguística para treinar e operar.

Há muitos exageros e grandes afirmações em torno dos métodos de aprendizado profundo, mas, além do exagero, os métodos de aprendizado profundo estão alcançando resultados de última geração em problemas desafiadores. Principalmente no processamento de linguagem natural.

Neste artigo, você descobrirá as promessas específicas que os métodos de aprendizado profundo têm para lidar com problemas de processamento de linguagem natural.

Depois de ler esta postagem, você saberá:

  • As promessas de aprendizado profundo para processamento de linguagem natural.
  • O que os profissionais e cientistas pesquisadores têm a dizer sobre a promessa de aprendizado profundo em PNL.
  • Principais métodos de aprendizagem profunda e aplicativos para processamento de linguagem natural.

Comece seu projeto com meu novo livro Deep Learning for Natural Language Processing, incluindo tutoriais passo a passo e a Código-fonte Python arquivos para todos os exemplos.

Vamos começar.

Promessa de Deep Learning para Processamento de Linguagem Natural

Promessa de Deep Learning para Processamento de Linguagem Natural
Foto de D. Brandsma, alguns direitos reservados.

Promessa de Aprendizado Profundo

Os métodos de aprendizagem profunda são populares, principalmente porque estão cumprindo o que prometem.

Isso não quer dizer que não haja exagero em torno da tecnologia, mas que o exagero é baseado em resultados muito reais que estão sendo demonstrados em um conjunto de problemas de inteligência artificial muito desafiadores de visão computacional e processamento de linguagem natural.

Algumas das primeiras grandes demonstrações do poder do aprendizado profundo foram no processamento de linguagem natural, especificamente no reconhecimento de fala. Mais recentemente, na tradução automática.

Nesta postagem, veremos cinco promessas específicas de métodos de aprendizado profundo no campo do processamento de linguagem natural. Promessas destacadas recentemente por pesquisadores e profissionais da área, pessoas que podem ser mais temperamentais do que a média relatada em relação ao que as promessas podem ser.

Em resumo, eles são:

  1. A promessa de modelos de reposição drop-in. Ou seja, os métodos de aprendizagem profunda podem ser inseridos nos sistemas de linguagem natural existentes como modelos de substituição que podem atingir um desempenho proporcional ou melhor.
  2. A promessa de novos modelos de PNL. Ou seja, os métodos de aprendizado profundo oferecem a oportunidade de novas abordagens de modelagem para desafiar problemas de linguagem natural, como a previsão de sequência para sequência.
  3. A promessa de aprendizado de recursos. Ou seja, os métodos de aprendizado profundo podem aprender os recursos da linguagem natural exigidos pelo modelo, em vez de exigir que os recursos sejam especificados e extraídos por um especialista.
  4. A promessa de melhoria contínua. Ou seja, que o desempenho do aprendizado profundo no processamento de linguagem natural é baseado em resultados reais e que as melhorias parecem estar continuando e talvez se acelerando.
  5. A promessa de modelos de ponta a ponta. Ou seja, grandes modelos de aprendizado profundo de ponta a ponta podem ser adequados para problemas de linguagem natural, oferecendo uma abordagem mais geral e de melhor desempenho.

Vamos agora dar uma olhada mais de perto em cada um.

Existem outras promessas de aprendizado profundo para processamento de linguagem natural; estes foram apenas os 5 que escolhi destacar.

Qual você acha que é a promessa do aprendizado profundo para o processamento de linguagem natural?
Deixe-me saber nos comentários abaixo.

Precisa de ajuda com Deep Learning for Text Data?

Faça meu curso intensivo de e-mail gratuito de 7 dias agora (com código).

Clique para se inscrever e também obter uma versão gratuita do Ebook em PDF do curso.

Comece Seu Crash-Course GRÁTIS Agora

1. Promessa de modelos de substituição drop-in

A primeira promessa para o aprendizado profundo no processamento de linguagem natural é a capacidade de substituir os modelos lineares existentes por modelos de melhor desempenho, capazes de aprender e explorar relacionamentos não lineares.

Yoav Goldberg, em sua cartilha sobre redes neurais para pesquisadores de PNL, destaca que os métodos de aprendizado profundo estão alcançando resultados impressionantes.

Mais recentemente, modelos de redes neurais começaram a ser aplicados também a sinais de linguagem natural textual, novamente com resultados muito promissores.

- A Primer on Neural Network Models for Natural Language Processing, 2015.

Ele continua destacando que os métodos são fáceis de usar e às vezes podem ser usados ​​para substituir os métodos lineares existentes.

Recentemente, o campo viu algum sucesso na mudança de tais modelos lineares em entradas esparsas para modelos de rede neural não lineares em entradas densas. Embora a maioria das técnicas de rede neural sejam fáceis de aplicar, às vezes como substituições quase imediatas dos antigos classificadores lineares, em muitos casos existe uma forte barreira de entrada.

- A Primer on Neural Network Models for Natural Language Processing, 2015.

2. Promessa de novos modelos de PNL

Outra promessa é que os métodos de aprendizado profundo facilitam o desenvolvimento de modelos inteiramente novos.

Um forte exemplo é o uso de redes neurais recorrentes que são capazes de aprender e condicionar a saída em sequências muito longas. A abordagem é suficientemente diferente no sentido de que permite ao profissional se libertar dos pressupostos da modelagem tradicional e, por sua vez, obter resultados de última geração.

Em seu livro expandindo o aprendizado profundo para PNL, Yoav Goldberg comenta que modelos de redes neurais sofisticados, como redes neurais recorrentes, permitem oportunidades de modelagem de PNL totalmente novas.

Por volta de 2014, o campo começou a ver algum sucesso na mudança de tais modelos lineares em entradas esparsas para modelos de rede neural não lineares em entradas densas. ... Outros são mais avançados, requerem uma mudança de mentalidade e fornecem novas oportunidades de modelagem. Em particular, uma família de abordagens com base em redes neurais recorrentes (RNNs) alivia a confiança na Suposição de Markov que prevalecia em modelos de sequência, permitindo condicionar em sequências longas arbitrárias e produzem extratores de recursos eficazes. Esses avanços levam a avanços na modelagem de linguagem, traduções automáticas e outras aplicações.

- Página xvii, Métodos de redes neurais no processamento de linguagem natural, 2017.

3. Promessa de aprendizado de recursos

Os métodos de aprendizado profundo têm a capacidade de aprender representações de recursos em vez de exigir que especialistas especifiquem e extraiam manualmente os recursos da linguagem natural.

O pesquisador de PNL Chris Manning, na primeira palestra de seu curso sobre aprendizagem profunda para processamento de linguagem natural, destaca uma perspectiva diferente.

Ele descreve as limitações dos recursos de entrada definidos manualmente, em que os aplicativos anteriores de aprendizado de máquina em PNL estatística eram realmente um testamento aos humanos que definiam os recursos e que os computadores aprenderam muito pouco.

Chris sugere que a promessa dos métodos de aprendizado profundo é o aprendizado automático de recursos. Ele destaca que o aprendizado de recursos é automático em vez de manual, fácil de adaptar em vez de frágil e pode melhorar contínua e automaticamente.

Em geral, nossos recursos projetados manualmente tendem a ser superespecificados, incompletos, levar muito tempo para projetar e validar e apenas levar você a um determinado nível de desempenho no final do dia. Onde os recursos aprendidos são fáceis de se adaptar, rápidos de treinar e eles podem continuar aprendendo para que alcancem um melhor nível de desempenho que nós conseguimos alcançar anteriormente.

- Chris Manning, Aula 1 | Processamento de linguagem natural com aprendizagem profunda, 2017 (slides, vídeo).

4. Promessa de melhoria contínua

Outra promessa de aprendizado profundo para PNL é a melhoria contínua e rápida de problemas desafiadores.

Na mesma aula inicial sobre aprendizado profundo para PNL, Chris Manning continua descrevendo que os métodos de aprendizado profundo são populares para linguagem natural porque estão funcionando.

A verdadeira razão pela qual o aprendizado profundo é tão emocionante para a maioria das pessoas é que tem funcionado.

- Chris Manning, Aula 1 | Processamento de linguagem natural com aprendizagem profunda, 2017 (slides, vídeo).

Ele destaca que os resultados iniciais foram impressionantes e alcançaram resultados na fala melhores do que qualquer outro método nos últimos 30 anos.

Chris continua mencionando que não são apenas os resultados de última geração que estão sendo alcançados, mas também a taxa de melhoria.

… O que tem sido totalmente impressionante nos últimos 6 ou 7 anos, houve uma rampa incrível em que os métodos de aprendizagem profunda foram sendo aprimorados e cada vez melhores em uma velocidade incrível. ... Na verdade, eu diria que é sem precedentes, em termos de parecer um campo que tem progredido tão rapidamente em sua capacidade de lançar métodos melhores de fazer as coisas mês após mês.

- Chris Manning, Aula 1 | Processamento de linguagem natural com aprendizagem profunda, 2017 (slides, vídeo).

5. Promessa de modelos de ponta a ponta

A promessa final do aprendizado profundo é a capacidade de desenvolver e treinar modelos ponta a ponta para problemas de linguagem natural, em vez de desenvolver pipelines de modelos especializados.

Isso é desejável tanto pela velocidade e simplicidade de desenvolvimento, como pelo desempenho aprimorado desses modelos.

A tradução automática neural, ou NMT, para abreviar, refere-se a grandes redes neurais que tentam aprender a traduzir um idioma para outro. Essa era uma tarefa tradicionalmente realizada por uma linha de modelos clássicos ajustados à mão, cada um dos quais exigindo conhecimento especializado.

Isso é descrito por Chris Manning na aula 10 de seu curso de Stanford sobre aprendizado profundo para PNL.

Tradução automática neural é usada para significar que o que queremos fazer é construir uma grande rede neural na qual podemos treinar todo o processo de tradução automática de ponta a ponta e otimizar ponta a ponta.

Esta mudança de modelos personalizados por partes para modelos de previsão de sequência a sequência de ponta a ponta tem sido a tendência no reconhecimento de voz. Os sistemas que fazem isso são chamados de NMT [neural machine translation] sistema.

- Chris Manning, Aula 10: Tradução Automática Neural e Modelos com Atenção, 2017. (slides, vídeo)

Essa tendência para modelos ponta a ponta, em vez de pipelines de sistemas especializados, também é uma tendência no reconhecimento de voz.

Em sua apresentação sobre reconhecimento de fala no curso de PNL de Stanford, o pesquisador de PNL Navdeep Jaitly, agora na Nvidia, destaca que cada componente de um reconhecimento de fala pode ser substituído por uma rede neural.

Os grandes blocos de um pipeline de reconhecimento automático de fala são processamento de fala, modelos acústicos, modelos de pronúncia e modelos de linguagem.

O problema é que as propriedades e, principalmente, os erros de cada subsistema são diferentes. Isso motiva a necessidade de desenvolver uma rede neural para aprender todo o problema de ponta a ponta.

Com o tempo, as pessoas começaram a perceber que cada um desses componentes poderia ser feito melhor se usássemos uma rede neural. … No entanto, ainda há um problema. Existem redes neurais em cada componente, mas os erros em cada um são diferentes, então eles podem não funcionar bem juntos. Portanto, essa é a motivação básica para tentar ir para um processo onde você treina o modelo inteiro como um grande modelo em si.

- Navdeep Jaitly, Aula 12: Modelos de ponta a ponta para processamento da fala, Processamento de linguagem natural com aprendizado profundo, 2017 (slides, vídeo).

Tipos de Redes de Aprendizado Profundo para PNL

O Deep Learning é um grande campo de estudo e nem tudo é relevante para o processamento de linguagem natural.

É fácil se prender a métodos específicos de otimização ou extensões para tipos de modelo destinados a aumentar o desempenho.

De alto nível, existem 5 métodos de aprendizagem profunda que merecem mais atenção para aplicação no processamento de linguagem natural.

Eles estão:

  1. Camadas de incorporação.
  2. Perceptrons multicamadas (MLP).
  3. Redes Neurais Convolucionais (CNNs).
  4. Neural recorrente ...

Você também pode estar interessado em