sklearn中的随机森林

Reading time ~1 minute

1.介绍

sklearn.ensemble模块包含了两种基于随机决策树的平均算法:RandomForest算法和Extra-Trees算法。这两种算法都采用了很流行的树设计思想:perturb-and-combine思想。这种方法会在分类器的构建时,通过引入随机化,创建一组各不一样(diverse)的分类器。这种ensemble方法的预测会给出各个分类器预测的平均。

和其它分类器相比,forest分类器可以使用这两个数组更好的进行拟合(fit):

  • X数组:一个sparse或dense数组,它的训练样本的size为[n_samples, n_features];
  • Y数组:一个size为[n_samples]的Y数组,它表示训练样本的target值:(注意:是大写的Y)
>>> from sklearn.ensemble import RandomForestClassifier
>>> X = [[0, 0], [1, 1]]
>>> Y = [0, 1]
>>> clf = RandomForestClassifier(n_estimators=10)
>>> clf = clf.fit(X, Y)

2.主题

2.1 RandomForests

在随机森林(RF)中,该ensemble方法中的每棵树都基于一个通过可放回抽样(bootstrap)得到的训练集构建。另外,在构建树的过程中,当split一个节点时,split的选择不再是对所有features的最佳选择。相反地,在features的子集中随机进行split反倒是最好的split方式。这种随机的后果是,整个forest的bias通常会略微增大,但是由于结果会求平均,因此,它的variance会降低,会修正偏大的bias,从而得到一个更好的模型。

sklearn的随机森林(RF)实现通过对各分类结果预测求平均得到,而非让每个分类器进行投票(vote)。

2.2 Ext-Trees

在Ext-Trees中(详见ExtraTreesClassifier和 ExtraTreesRegressor),该方法中,随机性在划分时会更进一步进行计算。在随机森林中,会使用侯选feature的一个随机子集,而非查找最好的阀值,对于每个候选feature来说,阀值是抽取的,选择这种随机生成阀值的方式作为划分原则。通常情况下,在减小模型的variance的同时,适当增加bias是允许的。

>>> from sklearn.cross_validation import cross_val_score
>>> from sklearn.datasets import make_blobs
>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.ensemble import ExtraTreesClassifier
>>> from sklearn.tree import DecisionTreeClassifier

>>> X, y = make_blobs(n_samples=10000, n_features=10, centers=100,
... random_state=0)

>>> clf = DecisionTreeClassifier(max_depth=None, min_samples_split=1,
... random_state=0)
>>> scores = cross_val_score(clf, X, y)
>>> scores.mean()
0.97...

>>> clf = RandomForestClassifier(n_estimators=10, max_depth=None,
... min_samples_split=1, random_state=0)
>>> scores = cross_val_score(clf, X, y)
>>> scores.mean()
0.999...

>>> clf = ExtraTreesClassifier(n_estimators=10, max_depth=None,
... min_samples_split=1, random_state=0)
>>> scores = cross_val_score(clf, X, y)
>>> scores.mean() > 0.999
True

在iris数据集上的分类:

2.3 参数

当使用这些方法时,最主要的参数是调整n_estimators 和 max_features。n_estimators指的是森林中树的个数。树数目越大越好,但会增加计算开销。另外,注意如果超出限定数量后,计算结果将停止。max_features指的是,当划分一个节点时,feature的随机子集的size。该值越小,variance会变小,但bias会变大。

根据经验,

  • 对于回归问题:好的缺省值是max_features=n_features;
  • 对于分类问题:好的缺省值是max_features=sqrt(n_features)。n_features指的是数据中的feature总数。

当设置max_depth=None,以及min_samples_split=1时,通常会得到好的结果(完全展开的树)。但需要注意,这些值通常不是最优的,并且会浪费RAM内存。最好的参数应通过cross-validation给出。另外需要注意:

  • 在随机森林中,缺省时会使用bootstrap进行样本抽样(bootstrap=True) ;
  • 而extra-trees中,缺省策略为不使用bootstrap抽样 (bootstrap=False);

当使用bootstrap样本时,泛化误差可能在估计时落在out-of-bag样本中。此时,可以通过设置oob_score=True来开启。

2.4 并行化

该模块可以并行构建多棵树,以及并行进行预测,通过n_jobs参数来指定。如果n_jobs=k,则计算被划分为k个job,并运行在k核上。如果n_jobs=-1,那么机器上所有的核都会被使用。注意,由于进程间通信的开销,加速效果并不会是线性的(job数k不会提升k倍)。通过构建大量的树,比起单棵树所需的时间,性能也能得到很大提升。(比如:在大数据集上)

示例:

2.5 特征重要性评估

在树的一个决策点上的一个feature的相对rank(i.e. 深度:depth),可以用来判断该feature相对于预测目标的重要程度。在树顶端使用的feature,对于输入样本中的大部分的最终预测决策来说,贡献挺大。样本中期望的块(expected fraction of the samples)可以被用于feature重要性程度的估计。

通过对随机树之间的期望活动率求均值,我们可以减小评估器的varaince,并使用它进行特征选择(feature selection)。

下例显示了各独立像素在人脸识别中的相对重要性,通过着色来表示。(使用了ExtraTreesClassifier模型):

实际上,这些评估器在拟合的模型上保存着一个属性:feature_importances_。这是一个{n_features,)的数组,它的值为正,求和为1.0. 该值越高,那么该feature对于预测函数的贡献也越大。

示例:

2.6 总的随机森林Embedding

RandomTreesEmbedding实现了一个无监督的数据转换器。使用一个完全随机树的森林,RandomTreesEmbedding会进行编码数据,通过数据点结束的叶子节点建立索引。该索引以one-of-K的方式,进行高维、稀疏二元编码。该编码的计算十分有效,可以作为基础用在其它学习算法上。编码的size与稀疏性受树的数量、以及每棵树的最大深度的影响。对于在ensemble方法中的每棵树而言,该编码包含了一个接一个的entry。这种编码的size至多有(n_estimators * 2 ** max_depth),在随机森林中最大数目的叶子节点。

邻近数据点,很可能在一棵树的相同叶子上,该转换执行了一个显式的、无参的密度估计。

示例:

参考:

http://scikit-learn.org/stable/modules/ensemble.html