Teóricos 2015

(volver a la página principal)

• presentación, motivación (con filminas de Rob Munro de Idibon), objetivos de la materia, organización
• el pipeline clásico de procesamiento
• referencias: ACL (NAACL, EACL), CoLing, EMNLP, NiPS y algunas conferencias secundarias, también escuelas de verano (ESSLLI, NASSLLI, JHU) y muchos MOOCs (p.ej., NLP en Coursera por Dan Jurafsky y Chris Manning)
• evaluación y challenges (CoNLL, CLEF, TREC, ACE, MUC, SemEval, KDD y Kaggle)
• conociendo herramientas básicas: nltk, freeling, stanford nlp, word2vec, scikit-learn

• esenciales lingüísticos, con filminas de Jan Hajic en su curso en JHU

• Modelos de lenguaje: n-gramas y suavizado (smoothing).
  • capítulo 4 de Jurafsky & Martin
  • filminas

• Presentación del Práctico 1.
• Evaluación de modelos de lenguaje: log-probability, cross-entropy y perplexity.
  • capítulo 4 de Jurafsky & Martin
  • notas sobre language modeling del curso de Michael Collins.

• Presentación de nuevos ejercicios del Práctico 1.
• Suavizado de modelos de lenguaje: discounting y Katz back-off.
  • capítulo 4 de Jurafsky & Martin
  • notas sobre language modeling del curso de Michael Collins.
  • Videolectures del curso de Collins:
    • Discounting Methods (Part 1)
    • Discounting Methods (Part 2)

• Etiquetado de secuencias: Introducción. HMMs.
  • capítulo 5 de Jurafsky & Martin
  • filminas (de Klein)
  • Videolectures del curso de Collins:
    • The Tagging Problem
    • Generative Models for Supervised Learning
    • Hidden Markov Models (HMMs): Basic Definitions
    • Parameter Estimation in HMMs
  • notas sobre tagging y HMMs (de Collins).

• Clase de Pablo Duboue sobre Generación de Lenguaje Natural.

• Etiquetado de secuencias: Decodificación con HMMs: El algoritmo de Viterbi.
  • capítulo 5 de Jurafsky & Martin
  • filminas (de Klein)
  • Videolectures del curso de Collins:
    • The Viterbi Algorithm for HMMs (Part 1)
    • The Viterbi Algorithm for HMMs (Part 2)
    • The Viterbi Algorithm for HMMs (Part 3)
  • notas sobre tagging y HMMs (de Collins).

• Extracción de expresiones multipalabra.
  • capítulo 5, Collocations, de Manning & Schütze
  • filminas sobre expresiones multipalabra de Timothy Baldwin, no todas, sino: 1-20,38-44,101-176 y algunas otras
  • pasos para un extractor simple:
    • por frecuencia: obtener los bigramas, trigramas más frecuentes
    • filtros de PoS
    • medidas de asociación: información mútua, test de hipótesis, likelihood ratio
    • usaremos un pedacito de La Voz del Interior.
  • si quieren leer algo más resumidito, les recomiendo el apartado sobre Collocations de los apuntes de clase de Chris Northwood. Conciso y al punto.

• Etiquetado de secuencias:
  • Repaso del algoritmo de Viterbi. Ejemplo.
  • Introducción a los Maximum Entropy Markov Models (MEMMs) (también llamados log-linear models).
    • Videolectures:
      • Independence Assumptions in Log-linear Taggers
      • Features in Log-Linear Taggers
    • notas sobre MEMMs (de Collins).

• Desambiguación e inducción de sentidos.
  • filminas de Kathy McKeown sobre WSD
  • veremos los siguientes papers:
    • Dan Yarowsky. 1995. Unsupervised Word Sense Disambiguation Rivaling Supervised Methods. ACL.
    • Pantel, P. and Lin, D. 2002. Discovering Word Senses from Text. KDD-02.
    • J. Véronis. 2004. HyperLex: Lexical Cartography for Information Retrieval. Computer, Speech and Language, 18 (3).
  • y problemas y soluciones del Semeval 2015

• Clasificación para Reconocimiento de Entidades Nombradas (Named Entity Recognition): Codificación BIO y features. Árboles de decisión y SVMs.
  • slides.pdf

Semana del estudiante.

• Clase de consulta para el práctico 1.

Semana del estudiante pero hay clase igual porque no tenemos otra cosa mejor para hacer:

• Clasificación de Textos y el clasificador Naive Bayes.
  • https://class.coursera.org/nlp/lecture/36
  • https://class.coursera.org/nlp/lecture/37
  • https://class.coursera.org/nlp/lecture/25
  • https://class.coursera.org/nlp/lecture/26
  • https://class.coursera.org/nlp/lecture/27
  • https://class.coursera.org/nlp/lecture/28
• Introducción a scikit-learn para clasificación de textos:
  • http://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html
  • Mi versión del mismo tutorial

Feriado por el día de San Jerónimo.

• Extracción de relaciones.
  • What is Relation Extraction? (9:47)
  • Using Patterns to Extract Relations (6:17)
  • Supervised Relation Extraction (10:51)
  • Semi-Supervised and Unsupervised Relation Extraction (9:53)

• Introducción al Análisis Sintáctico.
  • Del curso de Collins:
    • Introduction (0:28)
    • Introduction to the Parsing Problem (Part 1) (10:37)
    • Introduction to the Parsing Problem (Part 2) (4:20)
  • Del curso de Jurafsky y Manning:
    • Syntactic Structure: Constituency vs Dependency (8:46)
    • Empirical/Data-Driven Approach to Parsing (7:11)
    • The Exponential Problem in Parsing (14:30)
• Etiquetado de Secuencias con Feature Forge

• Gramáticas Libres de Contexto (CFGs). Elementos sintácticos principales del lenguaje natural.
  • Context-Free Grammars (Part 1) (12:11)
  • Context-Free Grammars (Part 2) (2:22)
  • A Simple Grammar for English (Part 1) (10:32)
  • A Simple Grammar for English (Part 2) (5:30)
  • A Simple Grammar for English (Part 3) (11:21)
  • A Simple Grammar for English (Part 4) (2:20)
  • Examples of Ambiguity (5:56)
• Gramáticas Libres de Contexto Probabilísticas (PCFGs).
  • Introduction (1:12)
  • Basics of PCFGs (Part 1) (9:43)
  • Basics of PCFGs (Part 2) (8:26)

• Forma Normal de Chomsky (CNF). Algoritmo CKY para PCFGs.
  • The CKY Parsing Algorithm (Part 1) (7:31)
  • The CKY Parsing Algorithm (Part 2) (13:22)
  • The CKY Parsing Algorithm (Part 3) (10:07)

• Ejemplos de Forma Normal de Chomsky y del algoritmo CKY. Evaluación de parsers: precision, recall y F1.
  • Grammar Transforms (12:05)
  • CKY Parsing (23:25)
  • CKY Example (21:52)
  • Constituency Parser Evaluation (9:45)

• Debilidades de las PCFGs. PCFGs lexicalizadas.
  • Weaknesses of PCFGs (14:59)
  • Introduction (00:17)
  • Lexicalization of a Treebank (10:44)
  • Lexicalized PCFGs: Basic Definitions (12:40)
  • Parameter Estimation in Lexicalized PCFGs (Part 1) (5:28)
  • Parameter Estimation in Lexicalized PCFGs (Part 2) (9:08)
  • Evaluation of Lexicalized PCFGs (Part 1) (9:32)
  • Evaluation of Lexicalized PCFGs (Part 2) (11:28)

• PCFGs no lexicalizadas. Splitting y merging de no terminales: Markovización horizontal y vertical, parent annotation, etc. PCFGs con estados latentes.
  • The Return of Unlexicalized PCFGs (20:53)
  • Latent Variable PCFGs (12:07)

• Adquisición léxica (Laura)
  • palabras cuyo significado no se representa referencialmente, sino como una estructura (o como una función que busca argumentos, al estilo de la Gramática Categorial (la CCG es una gramática categorial práctica)).
  • recursos donde los verbos se representan como escenas o como estructuras con argumentos: FrameNet, VerbNet, Unified Verb Index
  • SemEval

• Análisis Sintáctico de dependencias. Parsing basado en transiciones.
  • Dependency Parsing Introduction (10:25)
  • Greedy Transition-Based Parsing (31:05)

• Búsqueda y Recuperación de Información.
  • Introduction to Information Retrieval (9:16)
  • Term-Document Incidence Matrices (8:59)
  • The Inverted Index (10:42)
  • Query Processing with the Inverted Index (6:43)
  • Phrase Queries and Positional Indexes (19:45)
  • Introducing Ranked Retrieval (4:27)
  • Scoring with the Jaccard Coefficient (5:06)

• Clustering para Procesamiento del Lenguaje Natural
  • filminas (versión resumida) del curso de Information Retrieval del grupo de PLN de Stanford
  • demo de k-means
  • k-means en scikit-learn
  • revisitamos el paper de Pantel y Lin sobre clustering para descubrir sentidos: Discovering Word Senses from Text, KDD 2002

Clase de Paula Estrella sobre Traducción Automática.