背景

上一期，我们完整的介绍了CART 决策树的原理及构建的逻辑，本期我们将用一个比较现实的例子+代码，来给大家带来CART决策树的深入了解。如果大家对于CART决策树并不了解，那么可以查看上一篇文章，可以说是零基础的介绍了（CART决策树-One Step By One Step,下附）。相信大家与我本人一样，看过很多AI、机器学习的新闻，但是大部分时候带来的是惊叹，很少有自己能够上手操作或者非常贴近直观价值的例子。本篇文章希望通过代码、实际数据、算法给大家完整地展示下，机器学习、算法是如何在某一领域发挥巨大价值的。

需要特别说明的是本文章的图片及代码来源于 DataCamp的Avinash Navlani

数据&问题

相信大部分读者可能并不直接从事于机器学习方面的工作，或者说还没有开始工作。不过，对于机器学习、AI、人工智能、神经网络等等感到好奇和向往。所以，大家可能会有疑问，一个个不同的算法，感觉很厉害的样子，但是有什么用呢？或者说怎么用呢？本期就会给大家带来一个非常贴近于应用场景的例子和其代码。

本期带来的数据是Pima Indians Diabetes Database，来源于Kaggle。该数据库是含有8个特征变量和一个最终的Lable，8个特征变量分别是怀孕次数、glucose、BP血压、skin皮层厚度等等，最终的label代表着是否有糖尿病，如下图。 由于涉及到医学领域，可能大家包括我也搞不懂每个特征的含义，但是我们目前聚焦的是数据的处理，所以并不影响我们对于CART决策树的探索。

另外，这个数据其实代表了其背后，数据、Machine Learning在医疗健康领域的运用。比如现在很火的大数据医疗、大数据诊断、AI赋能医生什么的，其实都可以在这个例子中窥见一斑。其意义和价值不言而喻。

CART决策树算法

本章节会简单介绍CART决策树，不过如果大家需要对CART决策树有一个完整了解，可以查看我的上一篇文章，基本上是零基础介绍了。

决策树就是一个类似流程图的树状结构。每一个内部节点（decision node）代表了一个特征变量（如本数据中的血压、年龄什么的）；每个叶节点代表了最终的分类结果（leaf node）；决策树最上面的节点是 根节点；决策树所做的就是根据每个节点的特征判断，进行分裂。 这个分裂就能够帮大家做出决定。

而且这个图也非常直观和容易理解，任何稍微学过点逻辑or计算机的同学都会看过这种logic 逻辑判断的图。

决策树可以算是机器学习算法领域的white box，它与神经网络不同的是，CART决策树的决策逻辑和链路是可视的。而神经网络基本上就是一个黑盒子，其决策逻辑并不可知。并且CART的训练时间相对于神经网络也更快。

决策树工作原理

决策树背后的工作原理如下：

1. 首先，根据ASM（Attribute Selection Measures、可以查看上篇文章）选择出最好的特征；
2. 将该特征作为一个阶段，来将数据集分裂成更小的集合；
3. 重复1-2步骤，直到整个数据库完成分裂，如各个Leaf Node都归属于同一类型；

Attribute Selection Measures（ASM）特征选择方法

在具体介绍特征选择方法前，大家需要建立一个概念。就是，如果仅仅是建立一个决策树是非常简单的，大家就想想自己购物的过程，首先看看价格，如果价格合适再看看款式；如果款式也合适再看看品牌；如果品牌也喜欢再看看颜色什么的；当然实际中，CART决策树构建也真的就这么简单，只是有一个问题，大家可能没想过，就是顺序。我们换个方式叙述一下这个购物过程：首先呢，一件衣服有4个特征：价格、款式、品牌、颜色；其次呢，一个数据样本还有一个最终的类型分类，就是Yes购买 or No不买。

那么，对于这个Shopping的例子，为什么是先看价格呢？为什么不是先看颜色呢？，就是因为价格的决策影响力更大，大家通俗的理解也能看出来 先看影响力大的因素可以节省时间。因为颜色看了半天，价格不合适也没用阿。所以，对于构建CART决策树来说，其最重要的一个点就是 计算出来 特征的顺序。当然计算的方式和公式有好几个，本次就简单介绍Gini Index。

Gini Index

其中P代表了某节点在不同类型上的分布。可以看出当P分裂后的节点比较集中的话，那么Gini Index会比较小。 具体的细节大家可以参考下我的上一篇文章。

对于CART决策树的介绍，已经在上一篇完整介绍过了，需要的伙伴可以在CART决策树-One Step By One Step（下附）

构建CART决策树 Scikit-learn

模块导入

首先，导入必要的处理模块

# Load libraries
import pandas as pd
from sklearn.tree import DecisionTreeClassifier # Import Decision Tree Classifier
from sklearn.model_selection import train_test_split # Import train_test_split function
from sklearn import metrics #Import scikit-learn metrics module for accuracy calculation

数据导入

其次，导入Pima Indian Diabetes dataset数据，数据来源于Kaggle，大家可以从原文链接中找到

col_names = ['pregnant', 'glucose', 'bp', 'skin', 'insulin', 'bmi', 'pedigree', 'age', 'label']
# load dataset
pima = pd.read_csv(r"C:\Users\fanlin.zfl\Downloads\diabetes.csv", header=None, names=col_names)
pima.head()

特征选择

将数据分为x、y

#split dataset in features and target variable
feature_cols = ['pregnant', 'insulin', 'bmi', 'age','glucose','bp','pedigree']
X = pima[feature_cols] # Features
y = pima.label # Target variable

拆分数据

将数据集拆分为 训练集 和 测试集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1) # 70% training and 30% test

构建决策树模型

使用Scikit-learn构建一个决策树

# Create Decision Tree classifer object
clf = DecisionTreeClassifier()
# Train Decision Tree Classifer
clf = clf.fit(X_train,y_train)
#Predict the response for test dataset
y_pred = clf.predict(X_test)

模型评估

通过对于测试集的分类 与 预测的分类 来计算准确率

# Model Accuracy, how often is the classifier correct?
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))
Accuracy: 0.670995670995671

当然目前67%的准确率并不够好，可以通过参数调整来优化

决策树可视化

我们可以使用Scikit-learn的graphviz公式来做决策树的可视化

from sklearn.tree import export_graphviz
from sklearn.externals.six import StringIO 
from IPython.display import Image 
import pydotplus
dot_data = StringIO()
export_graphviz(clf, out_file=dot_data, 
 filled=True, rounded=True,
 special_characters=True,feature_names = feature_cols,class_names=['0','1'])
graph = pydotplus.graph_from_dot_data(dot_data.getvalue()) 
graph.write_png('diabetes.png')
Image(graph.create_png())

在这个决策树中，每个内部节点通过某个特征来分裂数据。Gini指的是该节点对应的纯度（在算法介绍和上一篇CART介绍中有详细的阐述）

决策树优化&参数调整

参数调整部分我将直接展示代码，大家可以从下面的结果中看到，在参数调整后，准确率提升至77%左右

# Create Decision Tree classifer object
clf = DecisionTreeClassifier(criterion="entropy", max_depth=3)
# Train Decision Tree Classifer
clf = clf.fit(X_train,y_train)
#Predict the response for test dataset
y_pred = clf.predict(X_test)
# Model Accuracy, how often is the classifier correct?
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))
Accuracy: 0.7705627705627706

决策树可视化

from sklearn.externals.six import StringIO 
from IPython.display import Image 
from sklearn.tree import export_graphviz
import pydotplus
dot_data = StringIO()
export_graphviz(clf, out_file=dot_data, 
 filled=True, rounded=True,
 special_characters=True, feature_names = feature_cols,class_names=['0','1'])
graph = pydotplus.graph_from_dot_data(dot_data.getvalue()) 
graph.write_png('diabetes.png')
Image(graph.create_png())

在经过参数调整和剪枝之后的决策树，更加的简单和容易解释。

总结&意义

接着上一篇文章CART的介绍，本次带来CART决策树的代码及一些小小的实践。

首先，希望大家能够更理解CART决策树的原理及内容；

其次，也希望通过一个例子让大家对于数据、对于Machine Learning、对于“AI”的价值也有一个简单的理解。甚至可以能自己动手感受一下的机会；

另外，虽然目前其准确率只有70%左右，但是其价值不言而喻。当我们的参数数量、数据样本量承几何程度上升时，当我们的算法也提升时，我们的准确率也会随之提升。大家可以想象下，如果其准确率达到了99%左右时的价值。医生是一个门槛、专业度最高的行业之一，如果可以通过AI提高诊断准确率，不仅对于医生、而且对于整个社会的价值都不言而喻；

最后，也是我最大的愿望，就是让大家知道，AI or Machine Learning or 大数据并不是那么的遥不可及，起码其逻辑是非常清晰甚至可以说简单的。

附：CART决策树-One Step By One Step

背景

虽然近期Deep Learning已经是机器学习领域的核心及焦点，但是其由于神经网络本身的属性，我们并不能清晰地知道其决策的原因。也是因为这个原因，决策树算法仍然保持了其热度。

接下来我将借用以下链接的例子，进行CART（Classifier and Regression Tree）进行逐步讲解。CART使用Gini Index 建立决策节点。接下来将结合例子逐步讲解。

链接：
https://sefiks.com/2018/08/27/a-step-by-step-cart-decision-tree-example/

数据

本次使用的数据是，根据Outlook（天气）、Temp.（温度）、Humidity（湿度）、Wind（风度）等四个维度来决定是否去打高尔夫球的决策。同时，我们有14组这样的数据（or实例）

思考

结合以上数据，我们大概能脑补出，CART大概是怎么回事。如下图，假如 对于是否打高尔夫球的决定，我们需要4个因素的输入。比如，先看天气怎么样、再看温度怎么样.... 这样最后的话我们在考虑了四个因素之后，我们就能从14个数据例子中 找到最终的决策 Yes or No.

所以决策树做的事情就是，根据列示的4个特征Outlook、Temp.、Humidity、Wind来判断是否去打高尔夫球。

这样看起来很简单，实际上决策树的构建也真的就是那么简单。CART决策树的构建其实就一个核心问题：为什么第一个“节点”是 Outlook（天气） 而不是Temp.（温度）呢？既然有一个排序那么就有一个规则。

Gini Index

上一部分提出一个问题，CART决策树的构建的一个核心问题是，其节点的顺序问题。那么对于CART决策树来说，其原则上是 希望其节点分裂后的子节点更集中于某一分类，或者“更纯”。简单来说，就是希望分裂后，对于是否去打高尔夫球（Yes or No）的分类更清晰。

其实这个原则也很好理解，举个例子，我们如果有一个节点，可以将最终的分类Yes or No完全分开。那么我们肯定是优先做该节点的分裂。因为该节点分裂后，子节点的分类就更纯了。

通俗一点解释，为什么优先看某个特征呢、为什么是纯度呢？ 举个例子，就拿买衣服来说，假如我们优先看的是价格、再看尺寸。所以，我们在进入某个门店的时候，会先问价格。但是为什么呢？ 因为我们觉得价格是“权重影响力”最大的因素，当价格合适的时候，才会想往后看。那么，对于一个“非常有影响力的因素”来说，其贵、和不贵 对于其最终的决策影响非常大。 但是我们也可能会发现，“有没有口袋”也是衣服的特征之一，但是因为这个特征不重要，那么在基于这个特征分裂之后，我们发现“有口袋”的样本里面，选择买和不买的差不多数量；“无口袋”的样本里面也同样的情况。这也就是大家买衣服的时候，先看价格的原因，因为其对最终结果影响力大，所以其分裂后的“纯度”也相应的最高。

而“纯度”我们需要引入Gini Index，其是每个分类概率的平方。对于这个公式的理解，我们将在案例实际计算过程中解释。

Gini = 1 – Σ (Pi)2 for i=1 to number of classes

Outlook天气

天气是一个特征，其可以是Sunny、overcast或者rainy。根据例子中的14个数据，我们总结如下：

Gini(Outlook=Sunny) = 1 – (2/5)2 – (3/5)2 = 1 – 0.16 – 0.36 = 0.48

Gini(Outlook=Overcast) = 1 – (4/4)2 – (0/4)2 = 0

Gini(Outlook=Rain) = 1 – (3/5)2 – (2/5)2 = 1 – 0.36 – 0.16 = 0.48

然后，我们根据不同天气的加权平均计算出最终的Gini Index

Gini(Outlook) = (5/14) x 0.48 + (4/14) x 0 + (5/14) x 0.48 = 0.171 + 0 + 0.171 = 0.342

公式解释：根据上面的计算，我们可以看出Gini其计算的意义。 比如 Outlook为 Overcast时，有4个例子，4个都选择的是Yes 去打高尔夫。其Gini算出来的是0. 从而我们可以看出，当Gini越小时，该节点的分类越纯。当然，我们目前是在计算Outlook、Temp.、Wind、Humidity等四个特征的Gini Index.

Temperature温度

同样的，温度特征有三个子节点：Cool、Hot、Mild

Gini(Temp=Hot) = 1 – (2/4)2 – (2/4)2 = 0.5

Gini(Temp=Cool) = 1 – (3/4)2 – (1/4)2 = 1 – 0.5625 – 0.0625 = 0.375

Gini(Temp=Mild) = 1 – (4/6)2 – (2/6)2 = 1 – 0.444 – 0.111 = 0.445

我们可以计算对于温度特征的 加权平均 Gini Index

Gini(Temp) = (4/14) x 0.5 + (4/14) x 0.375 + (6/14) x 0.445 = 0.142 + 0.107 + 0.190 = 0.439

Humidity

湿度特征只有两个选项：High、Normal

Gini(Humidity=High) = 1 – (3/7)2 – (4/7)2 = 1 – 0.183 – 0.326 = 0.489

Gini(Humidity=Normal) = 1 – (6/7)2 – (1/7)2 = 1 – 0.734 – 0.02 = 0.244

湿度的加权平均Gini Index 如下：

Gini(Humidity) = (7/14) x 0.489 + (7/14) x 0.244 = 0.367

Wind

风度特征，有两个Weak、Strong.

Gini(Wind=Weak) = 1 – (6/8)2 – (2/8)2 = 1 – 0.5625 – 0.062 = 0.375

Gini(Wind=Strong) = 1 – (3/6)2 – (3/6)2 = 1 – 0.25 – 0.25 = 0.5

Gini(Wind) = (8/14) x 0.375 + (6/14) x 0.5 = 0.428

Time To Decide

在我们计算了每个特征的Gini Index之后，我们将选择Gini Index最低的选项：

如果将其转化为树状的话，那么将如下图：

从上面案例中可以看到 outlook的Overcast子项中，都选择的Yes.

之后

同样的，如果我们使用同样的原则，对于Sunny之后的节点进行选择时，我们对于数据样本1、2、8、9、11 进行同样过程的Gini Index计算。计算过程这里就省略了，从而选择humidity作为下一节点。 同样，大家看下图的时候会发现，通过Humidity节点的分裂，Humidity High的时候，选择是No；Humidity Low的时候，选择是Yes.

最终的最终，在我们完整计算过所有节点之后，完整的决策树如下图。

总结

首先，就这个例子而言，我们是面对14个Sample，每个sample有4个特征和其对应的最终分类；

而，我们希望决策树能做到的是，从这14个样本中学到一些东西，从而对于新的数据Sample能有指导作用，比如当我们拿到一组新的特征时，我们能判断Yes or No；

就，决策树而言，如其名，就是将每个特征作为一个节点。将每个节点作为一个“分流”的判断点；

而，最重要的问题就是每个节点，我们选择哪个特征？wind还是outlook呢？ 原则上，我们的选择是分裂后，使得子节点的纯度更高的分裂方式；

而，CART决策树，计算“纯度”的方法就是使用Gini Index

整体来看，CART决策树的逻辑其实非常清晰。其使用Gini Index也能保证最少的分裂 和 最少的Tree深度。