嗨,从没放弃的小努力你好:
是对模型的拟合优度和泛化能力进行评估,检测有没有过度拟合的问题。
- 左边第一个叫误差分析。它包含4个指标,每个指标一般都是越高越好,但是适用的场景不同不能简单的用谁高来判断谁好:
(1)查准率(Precision, P):
- 公式:Precision = TP / (TP + FP)
- 解释:查准率衡量的是模型预测的正类中实际为正类的比例。高查准率意味着模型在预测正类时较少出错。
- 适用场景:当误报(FP)成本很高时,查准率是一个重要指标。例如,在垃圾邮件过滤中,错误地将重要邮件归类为垃圾邮件的成本很高,此时需要高查准率。
(2)召回率(Recall, R):
- 公式:Recall = TP / (TP + FN)
- 解释:召回率衡量的是所有实际正类中被正确预测为正类的比例。高召回率意味着模型能捕捉更多的实际正类。
- 适用场景:当漏报(FN)成本很高时,召回率是关键指标。例如,在癌症筛查中,漏掉一个癌症患者的代价非常高,此时需要高召回率。
(3)准确率(Accuracy):
- 公式:Accuracy = (TP + TN) / (TP + FP + TN + FN)
- 解释:准确率衡量的是所有预测中正确预测的比例。高准确率表示模型在整体上表现良好。
- 适用场景:当数据集类别分布均衡时,准确率是一个有效的评价指标。然而,当类别分布不均衡时,准确率可能会产生误导。
(4)F1 值(F1 score):
- 公式:F1 score = 2 * (P * R) / (P + R)
- 解释:F1 值是查准率和召回率的调和平均数,综合考虑了这两个指标。高 F1 值表示模型在查准率和召回率上都表现良好。
- 适用场景:当类别分布不均衡且需要平衡查准率和召回率时,F1 值是一个更综合的评价指标。
综合应用
- 查准率和召回率:在许多实际应用中,查准率和召回率是权衡的关键。根据业务需求,有时需要提高查准率,有时需要提高召回率,或者在两者之间找到平衡。
- F1 值:特别适用于类别不均衡的场景,它能够综合反映模型在查准率和召回率上的表现。
- 准确率:适用于类别均衡的场景,或者作为多个指标中的一个进行参考。
2.第二个叫ROC曲线。 ROC曲线下方的面积(Area under the curve,AUC)占整个正方形的比例越大,模型的预测效果也就越好。AUC=1意味着完美的预测,而AUC=0.5意味着随机猜测。所以ROC越凸,下面的面积AUC越接近1越好。
3.第三个叫均方根误差。RMSE的值越小,模型表现的越好。
所以如果考察误差分析,其实是最复杂的。要考虑适用情景来选择合适的指标进行对比,哪个大,哪个就是最好的模型。
----------------------------------------------努力的时光都是限量版,加油!