Ciencias de la Computación FAMAF

Herramientas de usuario

Herramientas del sitio

Traza:
materias:pln:2019:practico2_draft

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anteriorRevisión previa
Próxima revisión		Revisión previa
materias:pln:2019:practico2_draft [2019/03/08 02:55] – francolqmaterias:pln:2019:practico2_draft [2019/04/01 19:00] (actual) – francolq
Línea 1: Línea 1:
-====== Trabajo Práctico 2 - Etiquetado de Secuencias ======+====== Trabajo Práctico 2 - Análisis de Sentimiento ======
  
 [[materias:pln:2019|(volver a la página principal)]] [[materias:pln:2019|(volver a la página principal)]]
  
-En este trabajo práctico implementaremos varios modelos de etiquetado de +En este trabajo práctico implementaremos modelos de análisis de sentimiento y haremos algunos experimentos con ellos.
-secuencias y realizaremos algunos experimentos con ellos.+
  
   * Repositorio: https://github.com/PLN-FaMAF/PLN-2019.   * Repositorio: https://github.com/PLN-FaMAF/PLN-2019.
-  * Fecha de entrega: **TBA**.+  * Fecha de entrega: 25/04 a las 23:59.
  
  
Línea 27: Línea 26:
  
  
-===== Ejercicio 1: Corpus AnCora: Estadísticas de etiquetas POS =====+===== Ejercicio 1: Corpus de Tweets: Estadísticas Básicas =====
  
-Programar un script ''stats.py'' que muestre la siguiente información del corpus:+Los corpus InterTASS 2018 se componen de conjuntos de tweets en español, cada uno anotado con su polaridad general. Los valores posibles para la polaridad son los siguientes:
  
-  * Estadísticas básicas: +  * ''P'': Polaridad positiva. 
-    * Cantidad de oraciones. +  * ''N'': Polaridad negativa. 
-    * Cantidad de ocurrencias de palabras. +  * ''NEU'': Polaridad neutra. 
-    * Cantidad de palabras (vocabulario). +  * ''NONE'': Sin polaridad.
-    * Cantidad de etiquetas (vocabulario de tags). +
-  * Etiquetas más frecuentes: Una tabla con las 10 etiquetas más frecuentes y la siguiente información para cada una: +
-    * Cantidad de veces que aparece (frecuencia), y porcentaje del total. +
-    * Cinco palabras más frecuentes con esa etiqueta. +
-    * **En el README, agregar a mano una breve descripción del significado de la etiqueta.** +
-  * Niveles de ambigüedad de las palabras: Una figura similar a la Figura 5.10 de Jurafsky & Martin (2008). Para cada nivel de ambigüedad (de 1 a 9) mostrar: +
-    * Cantidad de palabras y porcentaje del total. +
-    * Cinco palabras más frecuentes. +
-  * Incluir todas las estadísticas en el README.+
  
-Uso del script:+Puede encontrar una descripción más detallada del significado de cada etiqueta en [[https://cs.famaf.unc.edu.ar/~francolq/criterios_polaridad.pdf|este documento]].
  
-  $ python tagging/scripts/stats.py+En InterTASS 2018 se proveen corpus de entrenamiento, desarrollo y evaluación para tweets de tres países: España, Costa Rica y Perú. 
 + 
 +Programar un script ''stats.py'' que muestre las siguientes estadísticas básicas de la sección de entrenamiento del corpus InterTASS: 
 + 
 +  * Cantidad total de tweets. 
 +  * Cantidad de tweets por cada valor de polaridad (''P'', ''N'', ''NEG'' y ''NONE''). 
 + 
 +Imprimir estas estadísticas para los tres corpus de InterTASS 2018.
  
 Documentación: Documentación:
  
-  * [[http://clic.ub.edu/corpus/|Corpus AnCora]] +  * TASS: 
-  * [[https://web.archive.org/web/20160325024315/http://nlp.lsi.upc.edu/freeling/doc/tagsets/tagset-es.html|Etiquetas EAGLES]] +    * [[http://www.sepln.org/workshops/tass/2018/task-1|TASS 2018 Task 1]] 
-  * [[https://nlp.stanford.edu/software/spanish-faq.shtml#tagset|Stanford CoreNLP simplified tagset]] +      * [[http://www.sepln.org/workshops/tass/2018/task-1/private/evaluation/evaluate.php|Resultados]] 
-  * [[http://nbviewer.ipython.org/url/cs.famaf.unc.edu.ar/~francolq/Etiquetado%20de%20Secuencias.ipynb|Jupyter notebook: Etiquetado de Secuencias]]+    * [[https://competitions.codalab.org/competitions/21957|TASS 2019]] 
 +  * [[https://cs.famaf.unc.edu.ar/~francolq/criterios_polaridad.pdf|Etiquetado de polaridad]] 
 +  * [[https://github.com/PLN-FaMAF/PLN-2019/blob/master/notebooks/04%20An%C3%A1lisis%20de%20Sentimiento.ipynb|Jupyter notebook: Análisis de Sentimiento (ejemplo visto en clase)]] 
 +  * [[https://github.com/DiploDatos/AprendizajeSupervisado/tree/master/sentiment|Caso de Estudio: Sentiment Analysis (Diplomatura Ciencias de Datos)]]
  
  
-===== Ejercicio 2: Baseline Tagger =====+===== Ejercicio 2: Mejoras al Clasificador Básico de Polaridad =====
  
-  * Programar un etiquetador baseline, que elija para cada palabra su etiqueta más frecuente observada en entrenamiento. +Implementar, en el clasificador de sentimientos, **cuatro** de las seis posibles mejoras descriptas en las siguientes subsecciones. Para cada mejora, reportar:
-  * Para las palabras desconocidas, devolver la etiqueta 'nc0s000' (nombre común singular). +
-  * Entrenar y evaluar el modelo baseline del ejercicio anterior. Reportar los resultados en el README. +
-  * **Bonus**: Graficar la matriz de confusión como un mapa de calor (ver documentación abajo).+
  
-Interfaz de ''BaselineTagger'' en  ''baseline.py'':+  * Curvas de aprendizaje para los tres clasificadores (mnb, maxent y svm). Usar el script ''curve.py''. 
 +  * Resultado de la evaluación sobre el corpus de development de InterTASS. Usar el script ''eval.py''.
  
-<code python> +Para **una sola de las mejoras**, usando maxent, reportar además:
-class BaselineTagger:+
  
-    def __init__(self, tagged_sents, default_tag='nc0s000'): +  * Features más relevantes para cada sentimiento. Usar ''print_maxent_features'' del módulo ''sentiment.analysis''. 
-        """ +  * Tweet de ejemplo, con todos los features que intervienen y sus respectivos pesos para cada clase. Usar ''pprint_feature_weights_for_item''  del módulo ''sentiment.analysis''.
-        tagged_sents -- training sentences, each one being a list of pairs. +
-        default_tag -- tag for unknown words. +
-        """+
  
-    def tag(self, sent): 
-        """Tag a sentence. 
  
-        sent -- the sentence. +==== Mejor Tokenizer ====
-        """+
  
-    def tag_word(self, w): +El tokenizer por defecto del ''CountVectorizer'' filtra toda la puntuación y los emojis. Sin embargo los emojis y algunas puntuaciones son indicadoras de sentimiento (e.g. "!" y "?"). Cambiar el tokenizer por uno que no elimine emojis y puntuación. Una opción posible es el tokenizador de NLTK.
-        """Tag a word.+
  
-        w -- the word. 
-        """ 
  
-    def unknown(self, w): +==== Binarización de Conteos ====
-        """Check if a word is unknown for the model.+
  
-        w -- the word. +Modificar la configuración del ''CountVectorizer'' para que ignore las repeticiones de palabras.
-        """ +
-</code>+
  
-Tests: 
  
-  $ nosetests tagging/tests/test_baseline.py +==== Normalización Básica de Tweets ====
  
-Ejemplo de uso de los scripts:+Preprocesar los textos de los tweets de la siguiente manera:
  
-  $ python tagging/scripts/train.py -o baseline +  * Eliminar menciones de usuarios. 
-  $ python tagging/scripts/eval.py -i baseline+  * Eliminar URLs. 
 +  * Contraer repeticiones de 3 o más vocales.
  
-Documentación: 
  
-  * http://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html+==== Filtrado de stopwords ====
  
 +Modificar el ''CountVectorizer'' para que ignore stopwords del castellano (palabras sin carga semántica como artículos, preposiciones, etc.). Una posible fuente de stopwords es NLTK.
  
-===== Ejercicio 3: Entrenamiento y Evaluación de Taggers ===== 
  
-  * Programar un script ''train.py'' que permita entrenar un etiquetador baseline. +==== Lematización o Stemming ====
-  * Programar un script ''eval.py'' que permita evaluar un modelo de tagging. Calcular: +
-    * //Accuracy//, esto es, el porcentaje de etiquetas correctas. +
-    * //Accuracy// sobre las palabras conocidas y sobre las palabras desconocidas. +
-    * Matriz de confusión, como se explica en la sección 5.7.1 (//Error Analysis//) de Jurafsky & Martin. +
-  * Entrenar y evaluar el modelo baseline del ejercicio anterior. Reportar los resultados en el README. +
-  * **Bonus**: Graficar la matriz de confusión como un mapa de calor (ver documentación abajo).+
  
-Ejemplo de uso de los scripts:+Modificar el tokenizador del ''CountVectorizer'' para que además haga stemming o lematización de las palabras. Una posibilidad es usar el Snowball stemmer que viene con NLTK.
  
-  $ python tagging/scripts/train.py -o baseline +  * http://scikit-learn.org/stable/modules/feature_extraction.html#customizing-the-vectorizer-classes 
-  $ python tagging/scripts/eval.py -i baseline+  * http://www.nltk.org/api/nltk.stem.html#module-nltk.stem.snowball
  
-Documentación: 
  
-  * http://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html+==== Manejo de Negaciones ====
  
 +Modificar el tokenizador del ''CountVectorizer'' para que además maneje negaciones.
 +Al encontrar una negación ('no', 'tampoco', etc.), deben modificarse todas las palabras hasta el siguiente signo de puntuación, agregándoles el prefijo ''NOT_''.
  
-===== Ejercicio 4: Clasificador "three words" =====+Ejemplo:
  
 +  este verano tampoco ha llegado a hacer calor, sobre todo si lo comparamos con el pasado
  
-===== Ejercicio 5: Clasificador con Embeddings =====+debe ser reemplazado por:
  
 +  este verano tampoco NOT_ha NOT_llegado NOT_hacer NOT_calor , sobre todo si lo comparamos con el pasado
 +
 +
 +===== Ejercicio 3: Evaluación Final =====
 +
 +  * Seleccionar, del ejercicio anterior, el clasificador que haya dado mejores resultados.
 +  * Calcular y reportar los resultados de la evaluación con el corpus de test final de InterTASS. Usar el script ''eval.py'' con la opción ''-f''.
 +
 +
 +===== Ejercicio 4 (punto bonus): Lexicón de Sentimientos =====
 +
 +  * Obtener o elaborar un lexicón de palabras con polaridad positiva y negativa del castellano.
 +  * Programar dos features que calculen la cantidad de ocurrencias de palabras positivas y negativas en cada tweet.
 +  * Agregar estos nuevos features al pipeline (se puede usar FeatureUnion).
 +  * Entrenar, evaluar y analizar los resultados.
 +
 +
 +Documentación:
 +
 +  * Posibles fuentes de lexicones:
 +    * [[http://habla.dc.uba.ar/gravano/sdal.php?lang=esp|Spanish DAL: Diccionario de Afectos en Español (Agustín Gravano et al.)]]
 +    * [[http://web.eecs.umich.edu/~mihalcea/downloads.html#SPANISH_SENT_LEXICONS|Sentiment Lexicons in Spanish (Veronica Perez Rosas et al.)]]
 +    * [[https://github.com/JoseCardonaFigueroa/sentiment-analysis-spanish/blob/master/data/subjectivity.csv]]
 +    * [[http://www.lsi.us.es/~fermin/ML-SentiCon.zip|ML-SentiCon: A Layered, Multilingual Sentiment Lexicon (English, Spanish, Catalan, Galician, Basque)]]
 +  * [[http://scikit-learn.org/stable/modules/generated/sklearn.pipeline.FeatureUnion.html|FeatureUnion (scikit-learn)]]
  
-===== Ejercicio 6: Análisis de Error y Nuevos Features  ===== 
  
 /* /*
-===== Ejercicio 7: Red Neuronal =====+===== Ejercicio 4 (punto bonus): Exploración de Parámetros ("Grid Search") =====
  
 +Para los tres tipos de clasificadores, pruebe diferentes combinaciones de parámetros y evalúe sobre el corpus de development. Reporte mejor resultado y configuración para cada clasificador.
  
-===== Ejercicio 8: Red Neuronal Recurrente =====+  * [[http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html|maxent:]] Probar distintos valores para ''penalty'' y ''C''. 
 +  * [[http://scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVC.html|svm:]]  Probar distintos valores para ''penalty'' y ''C''. 
 +  * 
  
 +  * [[http://scikit-learn.org/stable/modules/grid_search.html|Tuning the hyper-parameters of an estimator (scikit-learn)]]
 */ */
 +
 +
 +/*
 +===== Ejercicio 5 (punto bonus): Ensamble de Clasificadores =====
 +*/
 +
  
materias/pln/2019/practico2_draft.1552013741.txt.gz · Última modificación: 2019/03/08 02:55 por francolq