scikit-learn 学习 (六) 线性和二次判别分析

2018-01-20

scikit-learn

线性判别分析 (discriminant_analysis.LinearDiscriminantAnalysis) 和二次判别分析 (discriminant_analysis.QuadraticDiscriminantAnalysis) 是两种经典分类器, 分别有线性和二次的决策平面.

这些分类器是吸引人的是他们有闭形式解并容易计算, 多分类并且在实际中应用好, 不需要调整超参数.

上图展示了线性判别分析和二次判别分析的决策边界. 下面一行说明线性判别分析只能学习线性边界, 二次判别分析可以学习二次边界因此更灵活.

Examples:

Linear and Quadratic Discriminant Analysis with covariance ellipsoid

这个例子绘制了LDA和QDA学习的每个类别的协方差椭球和决策边界。椭球显示每类的双重标准偏差。对于LDA，所有类别的标准差是相同的，而每个类别与QDA有其自己的标准偏差。

使用线性判别分析降维

discriminant_analysis.LinearDiscriminantAnalysis 可以进行监督学习降维, 通过投影输入的数据到一个线性子空间包括最大化类的分隔的方向, 输出的维数少于类的数目, 所以这通常是一个相当强的维度降低，只能在多类别的环境中有意义。

通过 discriminant_analysis.LinearDiscriminantAnalysis.transform 实现. 目标维数使用 n_components 参数. 这个参数对 discriminant_analysis.LinearDiscriminantAnalysis.fit or discriminant_analysis.LinearDiscriminantAnalysis.predict 没有影响.

Examples:

Comparison of LDA and PCA 2D projection of Iris dataset

应用于此数据的主成分分析（PCA）标识了占据数据差异最大的属性（主要成分或特征空间中的方向）的组合。在这里，我们绘制了2个第一主成分上的不同样本。

线性判别分析（LDA）尝试识别占各类之间差异最大的属性。具体而言，与PCA相比，LDA是使用已知类别标签的监督方法。

import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.decomposition import PCA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

iris = datasets.load_iris()
X = iris.data
y = iris.target
target_names = iris.target_names

pca = PCA(n_components=2)
X_r = pca.fit(X).transform(X)

lda = LinearDiscriminantAnalysis(n_components=2)
X_r2 = lda.fit(X, y).transform(X)

# Percentage of variance explained for each components
print('explained variance ratio (first two components): %s' % str(pca.explained_variance_ratio_))

explained variance ratio (first two components): [ 0.92461621  0.05301557]

%matplotlib inline
plt.figure()
colors = ['navy', 'turquoise', 'darkorange']
lw = 2

for color, i, target_name in zip(colors, [0, 1, 2], target_names):
    plt.scatter(X_r[y == i, 0], X_r[y == i, 1], color=color, alpha=0.8, 
               lw=lw, label=target_name)
plt.legend(loc='best', shadow=False, scatterpoints=1)
plt.title('PCA of IRIS dataset')

Text(0.5,1,'PCA of IRIS dataset')

png

plt.figure()
for color, i, target_name in zip(colors, [0, 1, 2], target_names):
    plt.scatter(X_r2[y == i, 0], X_r2[y == i, 1], alpha=0.8, color=color,
               label=target_name)
plt.legend(loc='best', shadow=False, scatterpoints=1)
plt.title('LDA of IRIS dataset')