Herramientas de usuario

Herramientas del sitio


materias:pln:uba2018:practico1

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anteriorRevisión previa
Próxima revisión
Revisión previa
materias:pln:uba2018:practico1 [2018/02/14 20:17] francolqmaterias:pln:uba2018:practico1 [2018/08/10 03:03] (actual) – editor externo 127.0.0.1
Línea 7: Línea 7:
  
   * Repositorio: https://github.com/PLN-FaMAF/PLN-UBA2018.   * Repositorio: https://github.com/PLN-FaMAF/PLN-UBA2018.
-  * Fecha de entrega: 15/02 a las 23:59.+  * Fecha de entrega: <del>15/02</del> 18/02 a las 23:59.
  
  
Línea 155: Línea 155:
   * Calcular V como el tamaño del alfabeto incluyendo el marcador ''</s>''.   * Calcular V como el tamaño del alfabeto incluyendo el marcador ''</s>''.
   * Agregar al script de entrenamiento (''train.py'') una opción de línea de comandos que permita utilizar add-one en lugar de n-gramas clásicos.   * Agregar al script de entrenamiento (''train.py'') una opción de línea de comandos que permita utilizar add-one en lugar de n-gramas clásicos.
-  * Entrenar sobre nuestro corpus y guardar los modelos resultantes para varios valores de n (1, 2, 3 y 4). 
  
 Interfaz de la clase ''AddOneNGram'' (en ''ngram.py''): Interfaz de la clase ''AddOneNGram'' (en ''ngram.py''):
Línea 170: Línea 169:
         """         """
 </code> </code>
 +
 +Tests:
 +
 +  $ nosetests languagemodeling/tests/test_addone_ngram.py 
 +
 +Documentación:
 +  * [[http://nbviewer.jupyter.org/url/cs.famaf.unc.edu.ar/~francolq/Modelado%20de%20Lenguaje%20Parte%202.ipynb#Suavizado-"add-one"|Jupyter notebook: Suavizado "add-one" (ejemplo visto en clase)]]
 +
 +
 +===== Ejercicio 5: Evaluación de Modelos de Lenguaje =====
 +
 +  * Separar el corpus en entrenamiento y test (90% y 10% resp.).
 +  * Usar el script ''train.py'' para entrenar el modelo "add one" y guardar las instancias resultantes para varios valores de n (1, 2, 3 y 4).
 +  * Usar el script ''eval.py'' para calcular la perplejidad de los modelos entrenados en el ejercicio anterior. Reportar los resultados en el README.
  
 Nueva interfaz de ''train.py'': Nueva interfaz de ''train.py'':
Línea 190: Línea 203:
 </code> </code>
  
-Tests: 
- 
-  $ nosetests languagemodeling/tests/test_addone_ngram.py  
- 
-Documentación: 
-  * [[http://nbviewer.jupyter.org/url/cs.famaf.unc.edu.ar/~francolq/Modelado%20de%20Lenguaje%20Parte%202.ipynb#Suavizado-"add-one"|Jupyter notebook: Suavizado "add-one" (ejemplo visto en clase)]] 
- 
- 
-===== Ejercicio 5: Evaluación de Modelos de Lenguaje ===== 
- 
-  * Separar el corpus en entrenamiento y test (90% y 10% resp.). 
-  * Usar el script ''eval.py'' para calcular la perplejidad de los modelos entrenados en el ejercicio anterior. Reportar los resultados en el README. 
  
 Interfaz de ''eval.py'': Interfaz de ''eval.py'':
Línea 258: Línea 259:
   * [[https://cs.famaf.unc.edu.ar/~francolq/lm-notas.pdf|Modelado de Lenguaje: Notas Complementarias]]   * [[https://cs.famaf.unc.edu.ar/~francolq/lm-notas.pdf|Modelado de Lenguaje: Notas Complementarias]]
   * [[https://www.youtube.com/watch?v=-aMYz1tMfPg&list=PL6397E4B26D00A269&index=17|4 - 6 - Interpolation - Stanford NLP - Professor Dan Jurafsky & Chris Manning]]   * [[https://www.youtube.com/watch?v=-aMYz1tMfPg&list=PL6397E4B26D00A269&index=17|4 - 6 - Interpolation - Stanford NLP - Professor Dan Jurafsky & Chris Manning]]
-Documentación: 
   * [[http://nbviewer.jupyter.org/url/cs.famaf.unc.edu.ar/~francolq/Modelado%20de%20Lenguaje%20Parte%202.ipynb#Suavizado-por-Interpolación|Jupyter notebook: Suavizado por Interpolación (ejemplo visto en clase)]]   * [[http://nbviewer.jupyter.org/url/cs.famaf.unc.edu.ar/~francolq/Modelado%20de%20Lenguaje%20Parte%202.ipynb#Suavizado-por-Interpolación|Jupyter notebook: Suavizado por Interpolación (ejemplo visto en clase)]]
   * Mails:   * Mails:
materias/pln/uba2018/practico1.1518639461.txt.gz · Última modificación: 2018/08/10 03:03 (editor externo)