花莲县网站建设_网站建设公司_Figma_seo优化

一、Bagging 与 Boosting 概念对比

在风控建模中，单一模型（如逻辑回归、决策树）有时预测能力有限或易过拟合，集成方法通过组合多个弱模型提升稳定性和预测性能。

二、Bagging（Bootstrap Aggregating）

2.1 原理

Bagging 核心思想：通过多次随机采样训练集，构建多个模型，再将预测结果融合，减少模型方差。

1. 对原始训练集DDD（大小NNN）进行自助采样（Bootstrap），生成BBB个训练子集D1,D2,...,DBD_1, D_2, ..., D_BD1​,D2​,...,DB​

   • 每个子集通过有放回抽样，样本量通常等于原始训练集

2. 在每个子集上训练基础模型BaseLearnerBase LearnerBaseLearner，如决策树hb(x)h_b(x)hb​(x)

3. 预测融合：

   • 回归问题：平均值y^=1B∑b=1Bhb(x) \hat{y} = \frac{1}{B} \sum_{b=1}^B h_b(x)y^​=B1​b=1∑B​hb​(x)
   • 分类问题：多数投票y^=mode(h1(x),...,hB(x)) \hat{y} = \text{mode}(h_1(x), ..., h_B(x))y^​=mode(h1​(x),...,hB​(x))
     公式总结（分类场景）：P(Y=k∣X=x)=1B∑b=1B1(hb(x)=k) P(Y = k | X=x) = \frac{1}{B} \sum_{b=1}^B \mathbf{1}(h_b(x) = k)P(Y=k∣X=x)=B1​b=1∑B​1(hb​(x)=k)

其中1\mathbf{1}1为指示函数。

2.2 风控应用

• **随机森林（RF）**是 Bagging 的典型实现

• 应用场景：

  • 信用违约预测（借款人还款/逾期）
  • 欺诈交易识别
  • 客户流失预测

• 特点：

  • 通过随机采样和特征随机选择减少过拟合
  • 高方差模型（如深决策树）性能显著提升

• 风控优势：

  • 易处理大量特征
  • 对异常值和噪声较鲁棒
  • 可提供特征重要性指标（便于监管解释）

2.3 风控实践流程（Bagging）

1. 数据清洗与特征工程（包括 WOE、IV 分箱）
2. 构建训练集并进行自助采样
3. 训练随机森林 / Bagging 集成模型
4. 模型评估（KS、AUC、混淆矩阵）
5. 输出风险评分或违约概率
6. 特征贡献分析（变量重要性）

三、Boosting（梯度提升）

3.1 原理

Boosting 核心思想：串行训练弱模型，每轮重点关注前一轮预测错误的样本，逐步减小偏差。

• 每轮生成一个弱分类器hm(x)h_m(x)hm​(x)
• 为前一轮误分类样本分配更高权重
• 最终模型通过加权累加：FM(x)=∑m=1Mαmhm(x) F_M(x) = \sum_{m=1}^M \alpha_m h_m(x)FM​(x)=m=1∑M​αm​hm​(x)

其中：

• αm\alpha_mαm​是第mmm个弱模型的权重（通常与准确率相关）
• MMM是弱模型数量

3.1.1 梯度提升（Gradient Boosting）

• 将 Boosting 与梯度下降结合

• 每轮拟合残差（负梯度）：rim=−[∂L(yi,F(xi))∂F(xi)]∗F=F∗m−1 r_{im} = - \left[ \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} \right]*{F=F*{m-1}}rim​=−[∂F(xi​)∂L(yi​,F(xi​))​]∗F=F∗m−1

• 更新预测：Fm(x)=Fm−1(x)+ν⋅hm(x) F_m(x) = F_{m-1}(x) + \nu \cdot h_m(x)Fm​(x)=Fm−1​(x)+ν⋅hm​(x)

其中ν\nuν是学习率，控制每棵树对总模型的贡献。

3.2 风控应用

• GBDT / XGBoost / LightGBM是 Boosting 的主流实现

• 风控场景：

  • 信用评分卡增强版
  • 欺诈行为识别（实时交易评分）
  • 风险预测、逾期预测

• 特点：

  • 高准确率、低偏差
  • 可以处理类别、连续变量和缺失值
  • 提供特征重要性，可用于解释性分析

• 注意事项：

  • 易过拟合 → 需调节树深、学习率、样本权重
  • 对异常样本敏感 → 可以结合稳健损失函数

3.3 风控实践流程（Boosting）

1. 数据处理与特征工程（WOE、IV、缺失值处理）

2. 构建训练集

3. 训练 Boosting 模型：

   • 调节学习率、树深、弱模型数量
   • 可以使用交叉验证选择参数

4. 模型评估（KS、AUC、PR曲线）

5. 输出违约概率 → 风险评分

6. 可解释性分析：

   • 特征重要性
   • SHAP 值（解释单个客户违约概率贡献）

四、Bagging vs Boosting 在风控中的对比

五、风控实践总结

1. Bagging

   • 适合基准风险模型、稳健性要求高的业务
   • 易解释、抗噪声，偏向保守型信用决策

2. Boosting

   • 适合需要高精度风险预测的场景
   • 能捕捉非线性复杂关系，可与评分卡结合形成混合模型

3. 组合使用

   • 风控实践中，有时会将 Boosting 输出作为特征，再用逻辑回归或 Bagging 模型融合
   • 兼顾准确率和解释性