12 Abr
Métodos de evaluación de un clasificador
Los métodos de evaluación permiten medir la bondad y el rendimiento de un clasificador.
1. Matriz de confusión
2. Medidas de mérito
- a. Tasa de aciertos
- b. Tasa de fallos
- c. Proporción de verdaderos positivos (sensibilidad): de los que son verdaderamente positivos, cuántos son detectados por el sistema.
- d. Proporción de verdaderos negativos (especificidad): de los que son negativos, cuántos son correctamente clasificados por el sistema.
- e. Proporción de falsos positivos
- f. Proporción de falsos negativos
- g. Precisión
- h. Recall
- i. F-Measure
- j. Kappa
Métodos de estimación de la probabilidad de la clasificación correcta
- Método no honesto: no se puede testear el modelo con los mismos casos con los que se ha inducido.
- Método H de estimación (entrenamiento y testeo): utilizar con N grandes.
- Método H de estimación repetidas veces: no hay control sobre los casos utilizados para entrenar y para testear.
Nota: Un método es insesgado cuando la esperanza matemática de ese estimador coincide con el valor del estimador que se quiere demostrar.
- Método de estimación basado en K-fold (K rodajas): estimación insesgada de la probabilidad de acierto.
- Método de estimación 0.632 Bootstrapping: insesgado en el límite y con baja varianza.
Métricas y criterios adicionales
- Brier Score: medida de calibración para un clasificador. Indica el nivel de confianza en el modelo; a menor valor, mejor es el clasificador.
- Clasificador de menor coste: dado que no todos los errores tienen el mismo coste, debemos priorizar el clasificador que cometa menores errores graves.
- Curva ROC: gráfica que permite observar el rendimiento del clasificador. Cuanto más arriba y a la izquierda se encuentre, mejor es el modelo. Si cada punto representa un umbral, debemos seleccionar el de mayor área bajo la curva (AUC).
Clasificadores Bayesianos
- Naïve Bayes (1961, Minsky): fórmula clásica para problemas de diagnóstico. Asume variables predictoras condicionalmente independientes (discretas y continuas normales).
- SemiNaïve Bayes: se identifica una variable clase y variables predictoras que no afectan a dicha clase. Se calcula la probabilidad de cada variable y se selecciona la de mayor probabilidad.
- Naïve Bayes aumentado a árbol: se resuelve mediante la cantidad de información mutua y el algoritmo de clúster para expandir el árbol de peso máximo.
- Clasificador Bayesiano K-Dependiente (1996, Sahami).
- Red bayesiana múltiplemente conectada.
Inducción de reglas
Las reglas deben ser transparentes, comprensibles y fácilmente aplicables. Son más genéricas que los árboles de clasificación.
IREP (Incremental Reduced Error Pruning, 1994 Fürnkranz/Widner)
Las reglas se presentan en forma normal disyuntiva y se construyen mediante un conjunto de literales. Un conjunto de reglas está formado por varias reglas unidas por un OR. IREP induce el conjunto de reglas de manera voraz.
Un conjunto de casos D se particiona en:
- Dpos: conjunto de patrones positivos.
- Dneg: conjunto de patrones negativos.
Estos se dividen a su vez en:
- Dgrow-pos: relacionado con la construcción de reglas.
- Dprune-pos: relacionado con el podado de reglas.
- Dgrow-neg
- Dprune-neg
El objetivo es cubrir el mayor número de ejemplos positivos frente a los negativos:
- Rm,par: especialización que cubre 50 casos positivos de 70 totales y mantiene 20 negativos (ineficiente).
- Rb,par: especialización que mantiene los 70 positivos y solo 10 negativos (más eficiente).
El proceso finaliza cuando no se encuentra ninguna regla parcial que mejore el criterio, momento en el cual comienza el podado de literales.
Selección de variables
Muchos clasificadores funcionan mejor con un subconjunto de variables. Se busca evitar variables irrelevantes (que no aportan información) y redundantes (que miden lo mismo que otras) mediante modelos parsimoniosos.
Beneficios de la selección óptima:
- Reducción de costes.
- Mejora en la comprensión del modelo.
- Inducción más rápida.
- Mejora en la bondad del ajuste.
Deja un comentario