Teóricos UBA 2019

(volver a la página principal)

Recursos principales:

• Natural Language Processing (Dan Jurafsky & Christopher Manning, Stanford, 2014)
  • Lecture Slides
  • Video Lectures
  • Torrent
• Natural Language Processing with Deep Learning (Chris Manning, Stanford, 2019) (Winter 2018, Winter 2017)
  • Video Lectures (2017)
  • Video Lectures (2019)
• Andrew Ng. “Machine Learning Yearning”. Draft, 2018.

• Presentación de la materia
• Introducción al Procesamiento de Lenguaje Natural
• Introducción al PLN con Deep Learning (1ras 17 slides)
• Procesamiento básico de texto:
  • Expresiones regulares
  • Expresiones regulares aplicadas al PLN
  • Tokenización de palabras
  • Normalización, lematización y stemming
  • Segmentación de oraciones

• Modelado de Lenguaje:
  • Introducción a n-gramas
  • Estimando probabilidades de n-gramas
  • Evaluación y perplejidad
  • Generalización y ceros
  • Suavizado "add one"
  • Interpolación

• Notebooks:
  • 01 Procesamiento Básico de Texto
  • 02 Modelado de Lenguaje

• Material complementario:
  • Language Modeling (Course notes for NLP by Michael Collins, Columbia University)
  • Modelado de Lenguaje: Notas Complementarias

• Etiquetado de secuencias:
  • Introducción al Part-of-Speech (POS) tagging
  • Algunos métodos y resultados
• Más sobre etiquetado de secuencias (curso de Collins):
  • Etiquetado de secuencias
  • Modelos generativos para el aprendizaje supervisado
  • Introducción a los Hidden Markov Models (HMMs)
  • Estimación de parámetros de HMMs
  • 5. The Viterbi Algorithm for HMMs - Part I
  • 6. The Viterbi Algorithm for HMMs - Part II
  • 7. The Viterbi Algorithm for HMMs - Part III
  • 8. Summary

• Notebooks:
  • 01 Etiquetado de Secuencias Parte 1
  • 02 Etiquetado de Secuencias Parte 2
  • 03 Etiquetado de Secuencias Parte 3

• Clasificación de texto
  • Qué es clasificación de texto
  • Naive Bayes
  • Formalizando el clasificador Naive Bayes
  • Aprendizaje de Naive Bayes
  • Relación de Naive Bayes con modelado de lenguaje
  • Multinomial Naive Bayes: Ejemplo completo
  • Precision, recall y F1
  • Evaluación de clasificación de texto

• Análisis de Sentimiento:
  • What is Sentiment Analysis
  • Sentiment Analysis- A baseline algorithm
  • Sentiment Lexicons
  • Learning Sentiment Lexicons

• Estrategias para Machine Learning:
  • Parte 1
  • Parte 2

• Notebooks:
  • 01 Baseline
  • 02 Bag of Words
  • 03 Clasificador Basico
  • 04 Modelos de Clasificacion
  • Más...

• Charla de Rodrigo Loredo en el marco del seminario LIIA.

• Material complementario:
  • Andrew Ng. “Machine Learning Yearning”. Draft, 2018.
  • A Recipe for Training Neural Networks (Andrej Karpathy)
  • TPOT: A Python Automated Machine Learning tool that optimizes machine learning pipelines using genetic programming.

• Word Vectors:
  • Word Vectors 1 (videolecture)
  • Word Vectors 2 (videolecture)

• Material complementario:
  • Frontiers in Natural Language Processing Expert Responses: encuesta a referentes del área. En particular:
    • What would you say is the most influential work in NLP in the last decade, if you had to pick just one?

• Introducción a Redes Neuronales:
  • Neural Networks (cs224n lecture 3)
  • Backpropagation (cs224n lecture 4)

• Análisis sintáctico:
  • Linguistic Structure: Dependency Parsing (cs224n lecture 5)

• Redes Neuronales Recurrentes:
  • Language Models and RNNs (cs224n lecture 6)
  • Vanishing Gradients, Fancy RNNs (cs224n lecture 7)

• Links:
  • Understanding LSTM Networks

• Traducción Automática y modelos “sequence to sequence”:
  • Translation, Seq2Seq, Attention (cs224n lecture 8)

• Question Answering (cs224n lecture 10)

• Contextual Word Embeddings (cs224n lecture 13)

• Material complementario:
  • Deep Learning for NLP Best Practices (Sebastian Ruder)
  • The Annotated Transformer (Alexander Rush)
  • https://talktotransformer.com/
  • The 4 Biggest Open Problems in NLP (Sebastian Ruder)