Transformers, los nuevos Rock Stars del Deep Learning

¿Cómo utilizar NLP en las organizaciones para predecir el precio del petróleo?
julio 10, 2020
Show all

Transformers, los nuevos Rock Stars del Deep Learning

Autor: Antonio Cadena | Científico de Datos

 jcadena@igerencia.com

 

El procesamiento de lenguaje natural es uno de los campos donde más se aplican métodos de la Ciencia de Datos. Este consiste en usar información escrita o mensajes de audio para realizar predicciones y clasificaciones. El desafío con este tipo de datos consiste en que un idioma tiene orden, es decir, que para que una frase tenga sentido debe tener un sujeto que se relacione con un verbo y un componente. Por ejemplo, la frase “Hoy es un día soleado” tiene un sentido, mientras que la frase “Soleado es día hoy” tiene otro o no lo tiene. El orden en que se presentan las palabras es importante para que los resultados encontrados con procesamiento de lenguaje natural tengan valor.

 

Los algoritmos de Deep Learning han mostrado ser las mejores herramientas para resolver desafíos de procesamiento de lenguaje natural. En particular, las redes neuronal recurrentes (RNN por sus siglas en inglés) han sido utilizadas con mucho éxito. Esto se debe a que las RNN suponen que cada palabra que se ingresa depende de la inmediatamente anterior, justamente lo que se necesita para procesar correctamente el lenguaje, y que otros algoritmos no tienen la capacidad de hacer.

 

Sin embargo, aún hay un problema las RNN no han logrado resolver. En una frase como “Ricardo se encontró con Santiago y lo saludó”, para un RNN no es fácil identificar quién está saludando a quién. Si bien este tipo de red neuronal puede identificar que Ricardo y Santiago son personas y el verbo utilizado es saludar, no asigna un responsable a la acción. Es decir, no diferencia entre un sujeto activo y uno pasivo.

 

Para resolver ese problema, se ha creado una nueva infraestructura de redes neuronales llamada Transformers. La ventaja de esta arquitectura, sobre otras, es lo que se llama la auto atención. Se trata de un proceso que da mayor o menor importancia a los elementos de una frase. Es decir, mientras que para RNN todas las palabras tienen el mismo peso, un Transformer les da más peso a unas palabras que a otras. En nuestro ejemplo inicial “Ricardo se encontró con Santiago” y lo saludo, un Transformer otorgaría mayor importancia a Ricardo y lograría identificar que este es quien saluda.

 

Las implementaciones más exitosas de esta arquitectura hasta el momento las han realizado Google y Facebook. Ambos gigantes han desarrollado dos versiones llamadas BERT y RoBERTa. Desde 2018 BERT ha sido integrada con el motor de búsqueda de Google para mejorar los resultados que arroja. Por su parte, Facebook usa RoBERTa para monitorear el contenido que es publicado en la red social, logrando reducir la cantidad de publicaciones con lenguaje inapropiado en un 70% en tan solo seis meses.

 

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

¡Contacto!
//]]>