一、任务背景
某消费金融团队开发了一个信用评分模型(二分类:通过/拒绝)。数据中"通过"样本占 92%,"拒绝"样本占 8%。模型开发完成,需要你设计测试方案并记录测试结果。
二、任务要求
- 选择测试指标并说明理由(考虑类别不平衡)
- 说明测试集如何划分,为什么测试集不能参与训练
- 给出一份测试记录表的结构(字段设计)
- 说明什么样的结果算"可上线",什么样的结果要返工
三、作答框架(建议结构)
| 部分 | 写什么 | 篇幅参考 |
|---|---|---|
| 指标选择 | 指标+理由(针对不平衡数据) | 3-4 行 |
| 测试集设计 | 划分方式+比例+防泄漏措施 | 3-4 行 |
| 记录表结构 | 字段清单(表格) | 6-8 字段 |
| 判定标准 | 可上线 / 返工的条件 | 2-3 行 |
四、参考要点(先自己写,再展开对照)
点击展开参考要点清单
- 指标:不能只看准确率(92% 全判"通过"也有高准确率);应看召回率、精确率、F1,以及业务口径的"拒绝样本漏放率"
- 测试集划分:分层抽样保持 92:8 比例;测试集只用于最终评估,调参过程用验证集;防止同一用户数据同时出现在训练与测试
- 记录表字段:测试时间、模型版本、数据集版本与规模、指标结果、异常案例、测试人、结论
- 判定标准:如"拒绝类召回率不低于约定下限,且关键指标较上一版无下降"可上线;未达标则定位原因后返工
五、常见扣分点
- 只报准确率,没有针对不平衡数据的指标
- 测试集与训练集混用(数据泄漏)
- 没有测试记录表设计,只有结论
- "可上线"没有量化标准