(volver a la página principal)

Recursos principales:

• Natural Language Processing (Dan Jurafsky & Christopher Manning, Stanford, 2014)
  • Lecture Slides
  • Video Lectures
  • Torrent
• Natural Language Processing with Deep Learning (Chris Manning, Stanford, 2019) (Winter 2018, Winter 2017)
  • Video Lectures (2017)
  • Video Lectures (2019)
• Natural Language Processing (Michael Collins, Columbia, 2013)
  • Torrent
  • Video Lectures

• Presentación de la materia
• Introducción al Procesamiento de Lenguaje Natural
• Introducción al PLN con Deep Learning (1ras 17 slides)
• Procesamiento básico de texto:
  • Expresiones regulares
  • Expresiones regulares aplicadas al PLN
  • Tokenización de palabras
  • Normalización, lematización y stemming
  • Segmentación de oraciones

• Modelado de Lenguaje:
  • Introducción a n-gramas
  • Estimando probabilidades de n-gramas
  • Evaluación y perplejidad
    • Evaluación de modelos de lenguaje (Michael Collins)
  • Generalización y ceros
  • Suavizado "add one"

• Modelado de Lenguaje:
  • Interpolación
  • Interpolación Lineal (Parte 1) (Michael Collins)
  • Interpolación Lineal (Parte 2) (Michael Collins)
  • Discounting (Parte 1) (Michael Collins)
  • Discounting (Parte 2) (Michael Collins)
  • Language Modeling (Course notes for NLP by Michael Collins, Columbia University)
  • Modelado de Lenguaje: Notas Complementarias

• Distancia de edición
  • Definición de Minimum Edit Distance
  • Cálculo de Minimum Edit Distance
  • Backtrace para computar alineaciones
  • Weighted Minimum Edit Distance
  • Minimum Edit Distance en Biología Computacional
• Corrección ortográfica
  • La tarea de corrección ortográfica
  • Noisy Channel Model para ortografía
  • Corrección ortográfica en el mundo real
  • Sistemas estado del arte

• Clasificación de texto
  • Qué es clasificación de texto
  • Naive Bayes
  • Formalizando el clasificador Naive Bayes
  • Aprendizaje de Naive Bayes
  • Relación de Naive Bayes con modelado de lenguaje
  • Multinomial Naive Bayes: Ejemplo completo
  • Precision, recall y F1
  • Evaluación de clasificación de texto
  • Cuestiones prácticas en clasificación de texto

• Análisis de Sentimiento:
  • What is Sentiment Analysis
  • Sentiment Analysis- A baseline algorithm
  • Sentiment Lexicons
  • Learning Sentiment Lexicons
  • Other Sentiment Tasks

• Regresión Logística:
  • Generative vs Discriminative Models
  • Making features from text for discriminative NLP models
  • Feature Based Linear Classifiers
  • Building a Maxent Model The Nuts and Bolts
  • Generative vs. Discriminative models: The problem of overcounting evidence
  • Maximizing the Likelihood

• PLN con Deep Learning (curso Socher):
  • Introduction to NLP and Deep Learning (versión corta, videolecture)
  • Word Vectors 1 (videolecture)
  • Word Vectors 2 (versión corta, videolecture)

• Etiquetado de secuencias:
  • Introducción al Part-of-Speech (POS) tagging
  • Algunos métodos y resultados
• Más sobre etiquetado de secuencias (curso de Collins):
  • Etiquetado de secuencias
  • Modelos generativos para el aprendizaje supervisado
  • Introducción a los Hidden Markov Models (HMMs)
  • Estimación de parámetros de HMMs

• Etiquetado de secuencias: Algoritmo de Viterbi para HMMs (curso de Collins).
  • 5. The Viterbi Algorithm for HMMs - Part I
  • 6. The Viterbi Algorithm for HMMs - Part II
  • 7. The Viterbi Algorithm for HMMs - Part III
  • 8. Summary

• Modelos log-linear (Michael Collins):
  • 1. Introduction
  • 2. Two Example Problems
  • 3. Features in Log-Linear Models - Part I
  • 4. Features in Log-Linear Models - Part II
  • 5. Definition of Log-Linear Models - Part I
  • 6. Definition of Log-Linear Models - Part II
  • 7. Parameter Estimation in Log-Linear Models - Part I
  • 8. Parameter Estimation in Log-Linear Models - Part II
  • 9. Smoothing Regularization in Log-Linear Models
• Modelos log-linear para etiquetado de secuencias (Michael Collins):
  • 1. Introduction
  • 2. Recap of the Tagging Problem
  • 3. Independence Assumptions in Log-linear Taggers
  • 4. Features in Log-Linear Taggers
  • 5. Parameters in Log-Linear Models
  • 6. The Viterbi Algorithm for Log-Linear Taggers
  • 7. An Example Application
  • 8. Summary

• Análisis sintáctico y gramáticas libres de contexto (curso de Collins):
  • 1. Introduction
  • 2. Introduction to the Parsing Problem - Part I
  • 3. Introduction to the Parsing Problem - Part II
  • 4. Context-Free Grammars - Part I
  • 5. Context-Free Grammars - Part II
  • 6. A Simple Grammar for English - Part I
  • 7. A Simple Grammar for English - Part II
  • 8. A Simple Grammar for English - Part III
  • 9. A Simple Grammar for English - Part IV
  • 10. Examples of Ambiguity

• Parsing Introduction (curso de Jurafsky y Manning):
  • 1. Syntactic Structure Constituency vs Dependency
  • 2. Empirical Data-Driven Approach to Parsing
  • 3. The Exponential Problem in Parsing
• PCFGs (curso de Collins):
  • 1. Introduction
  • 2. Basics of PCFGs - Part I
  • 3. Basics of PCFGs - Part II
  • 4. The CKY Parsing Algorithm - Part I
  • 5. The CKY Parsing Algorithm - Part II
  • 6. The CKY Parsing Algorithm - Part III

• Introducción a Redes Neuronales:
  • Neural Networks (cs224n lecture 3)
  • Backpropagation (cs224n lecture 4)

• Charla "De 0 a 20 en Redes Neuronales":
  • slides
  • ejemplo (Jupyter Notebook)
  • dataset

• Redes Neuronales Recurrentes:
  • Language Models and RNNs (cs224n lecture 6)
  • Vanishing Gradients, Fancy RNNs (cs224n lecture 7)

• Links:
  • Understanding LSTM Networks

• Traducción Automática y modelos “sequence to sequence”:
  • Translation, Seq2Seq, Attention (cs224n lecture 8)

Semana de mayo sin clases teóricas.

• Practical Tips for Projects (cs224n lecture 9)

• Question Answering (cs224n lecture 10)

• Convolutional Networks for NLP (cs224n lecture 11)

• Contextual Word Embeddings (cs224n lecture 13)

• Links:
  • The Annotated Transformer (Alexander Rush)

No hubo (profesor lesionado).

• Future of NLP + Deep Learning (cs224n lecture 20)

¡Feriados y fin de clases!