对于不同类型的模型,会有不同的评估指标,那么我们从最直接的回归和分类这两个类型,对于结果连续的回归问题,
一般使用的大致为:MSE(均方差),MAE(绝对平均差),RMSE(根均方差)这三种评估方法,这三种方式公式此处补贴出来。
对于离散的分类问题,我们一般看ROC曲线,以及AUC曲线,一般好的模型,ROC曲线,在一开始就直接上升到1,然后一直保持1,也就是使得AUC=1.0或者尽可能的让其
接近这个值,这是我们奋斗的目标.
摘个实际的例子:--出自《预测分析核心算法》这本书.
1 #-*-coding:utf-8-*- 2 __author__ ='gxjun' 3 import pandas as pd 4 import matplotlib.pyplot as plt 5 from pandas import DataFrame 6 from random import uniform 7 import math 8 import numpy as np 9 import random 10 import pylab as pl11 from sklearn import datasets,linear_model12 from sklearn.metrics import roc_curve ,auc13 14 15 ##计算RP值16 def confusionMatrix(predicted ,actual , threshold):17 if len(predicted) != len(actual):18 return -1;19 tp=0.0;20 fp=0.0;21 tn=0.0;22 fn=0.0;23 for i in range(len(actual)):24 if actual[i] >0.5:25 if predicted[i] > threshold:26 tp+=1.0;27 else:28 fn+=1.0;29 else:30 if predicted[i]
结果为: