博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
机器学习中样本比例不平衡的处理方法
阅读量:4068 次
发布时间:2019-05-25

本文共 583 字,大约阅读时间需要 1 分钟。

类别不平衡(class-imbalance)是指分类任务中不同类别的训练样例数差别很大的情况。例如有990个正类,10个反例,那么学习方法只需要返回一个永远预测为正类的分类器就可以达到99%的精度。然而这样的学习器是没有价值的,因为它预测不出任何反例。

  • 样本比例不平衡,这种现象多是由于数据来源本身造成,如征信问题中往往正样本多。

  • 即使原始问题中不同类别的训练样例数目相当,在使用OvR策略后产生的二分类任务仍可能出现类别不平衡现象。

解决方法 1 :再缩放(rescaling)

  • 欠采样(undersampling)
  • 过采样(oversampling)
  • 阈值转移(threshold-moving)

解决方法 2 :使用其他分类性能度量指标

  • 正确率
  • 召回率
  • ROC曲线、AUC

解决方法 3 :基于代价函数的分类器就决策控制

  • 代价敏感的学习,增大样本数较少类别的样本的权重,当这样的样本被误分时,其损失值要乘上相应的权重,从而让分类器更加关注这一类数目较少的样本

解决方法 4 :搜集更多的数据

搜集更多的数据,从而让正负样本的比例平衡。需要注意的是,当搜集数据的场景本来产生数据的比例就是不平衡时,这种方法并不能解决数据比例不平衡问题。

或者采用合成样本。

《机器学习》 P66 3.6

《Machine Learning in Action》 P127 7.7

转载地址:http://anoji.baihongyu.com/

你可能感兴趣的文章
Oracle 异机恢复
查看>>
Oracle 12C DG 搭建(RAC-RAC/RAC-单机)
查看>>
Truncate 表之恢复
查看>>
Oracle DG failover 后恢复
查看>>
mysql 主从同步配置
查看>>
为什么很多程序员都选择跳槽?
查看>>
mongdb介绍
查看>>
mongdb在java中的应用
查看>>
区块链技术让Yotta企业云盘为行政事业服务助力
查看>>
Yotta企业云盘更好的为媒体广告业服务
查看>>
Yotta企业云盘助力科技行业创高峰
查看>>
Yotta企业云盘更好地为教育行业服务
查看>>
Yotta企业云盘怎么帮助到能源化工行业
查看>>
企业云盘如何助力商业新发展
查看>>
医疗行业运用企业云盘可以带来什么样的提升
查看>>
能源化工要怎么管控核心数据
查看>>
媒体广告业如何运用云盘提升效率
查看>>
企业如何运用企业云盘进行数字化转型-实现新发展
查看>>
司法如何运用电子智能化加快现代化建设
查看>>
iSecret 1.1 正在审核中
查看>>