【嘉银技术】机器学习流程

运营技术4867 · 2019-4-12 14:55:16

机器学习流程

作者（花名）：皮皮虾

部门：技术中心

机器学习生命周期
   机器学习生命周期包括五个部分，每一个部分都很重要。

1.定义目标：
   比如以营销场景为例，比方说，我们现在要营销100w个借款用户，但是转化率却只有1%（1w个人转化)。那么其余的营销部分就构成了额外的成本。但是如果我们能够借助AI+大数据将这部分客群缩小，但是同时又能够保证覆盖真正会转化的那部分人群，那么我们就能够节省运营成本。

2.数据收集和分析：
   好，那么我们的目标已经明确了，接下来我们需要收集和分析数据（大数据平台），这个过程我们需要和业务人员沟通，去发现哪些变量是我们需要的，可能对最后的预测产生影响，然后把这些数据从不同的数据源收集起来，做成一张统一的表格。

3.训练模型：
数据准备好之后，我们要开始进入建模流程了（AI 平台）。这部分的工作包括：
a. 设置那部分变量作为特征变量，以及哪一个作为目标变量
b. 特征工程（把变量变成机器可以识别的类型）
c. 将数据集分为训练，验证和测试集
d. 选择合适的算法，比如逻辑回归，梯度提升树，以及合适的参数。借助训练数据集来训练模型，验证数据集来判断模型是否过拟合
e. 最后在测试集上验证效果

4.解释模型:
   当我们得到一个模型之后，我们需要说服业务部门去使用我们的模型，那么我们需要解释我们的模型。
这里的解释包含两层意思：
a.我们模型的效果，也就是通过在测试数据集上的表现，通过科学的描述方式（ROC, AUC指标）来说明我们的模型好坏。
b. 模型内部特征的可解释性，也就是说我们的这个模型，它到底为什么认为这部分人群更加容易起转化，它是否分析到了什么特征，那么这些特征能够被解释。很遗憾，现在的很多算法都是黑盒模型（比如神经网络算法），当然也有些算法可以做一部分解释，比如梯度提升树。

5.部署和维护：
   模型的部署包括了影子模型， A/B测试，冠军模型等步骤，所以上线的流程并不是一蹴而就。而且初版模型上线之后，可能需要持续的更新，这时闭环系统就显得尤为重要。

知足悠然 · 2019-4-12 14:59:11

搞不懂。

蓝翔 · 2019-4-12 14:59:22

科技进步

nwdezennt · 2019-4-12 15:00:35

技术核心

一百万的主人 · 2019-4-12 15:04:21

没看清说啥

nwdyepq9w · 2019-4-12 15:06:07

看不懂，平台用心良苦啊

风之语 · 2019-4-12 15:06:48

显得尤为重要。

冰山 · 2019-4-12 15:09:08

不太清楚

飞天 · 2019-4-12 15:09:17

努力吧，好好学习天天向上！

飘落的枫叶 · 2019-4-12 15:11:03

学不完。

【嘉银技术】机器学习流程

评分

相关帖子

大神点评（85）

评分

发表回复