---

----分类：分类的意义----

#传统意义下的分类：生物物种

#预测：天气预报

#决策：yes or no

#分类的传统模型

#分类(判别分析)与聚类有什么差别？

---

----常见分类模型与算法----

#线性判别法

#距离判别法

#贝叶斯分类器

#决策树

#支持向量机(SVM)

#神经网络

----线性判别法(Fisher)----

#例子：天气预报数据

>G=c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2)

>x1=c(-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-2.8)

>x2=c(3.2,0.4,2.0,2.5,0.0,12.7,-5.4,-2.5,1.3,6.8,6.2,7.5,14.6,8.3,0.8,4.3,10.9,13.1,12.8,10.0)

>a=data.frame(G,x1,x2)

>plot(x1,x2)

>text(x1,x2,G,adj=-0.5)

----线性判别法的原理----

#用一条直线来划分学习集(这条直线一定存在 )

#然后根据待测点在直线的哪一边决定它的分类

----MASS包与线性判别函数lda()----

>library(MASS)

>ld=lda(G~x1+x2)

>ld

Call:

lda(G ~ x1 + x2)

Prior probabilities of groups:

1 2

0.5 0.5

Group means:

x1 x2

1 0.92 2.10

2 -0.38 8.85

Coefficients of linear discriminants:

LD1

x1 -0.1035305

x2 0.2247957

----分类判断----

>z=predict(ld)

>newG=z$class

>newG

[1] 1 1 1 1 1 2 1 1 1 1 2 2 2 2 1 2 2 2 2 2

Levels: 1 2

>y=cbind(G,z$x,newG)

>y

G LD1 newG

1 1 -0.28674901 1

2 1 -0.39852439 1

3 1 -1.29157053 1

4 1 -1.15846657 1

5 1 -1.95857603 1

6 1 0.94809469 2

7 1 -2.50987753 1

8 1 -0.47066104 1

9 1 -1.06586461 1

10 1 -0.06760842 1

11 2 0.17022402 2

12 2 0.49351760 2

13 2 2.03780185 2

14 2 0.38346871 2

15 2 -1.24038077 1

16 2 0.24005867 2

17 2 1.42347182 2

18 2 2.01119984 2

19 2 1.40540244 2

20 2 1.33503926 2

----距离判别法----

#原理：计算待测点与各类的距离，取最短者为其所属分类

#马氏距离(薛毅书，为什么不用欧氏距离？),计算函数mahalanobis()

#薛毅P378-R程序及例8.1

----贝叶斯分类器----

#原理(薛毅书P385)

----结果----

#对总体协方差矩阵相同的情形

#对于总体协方差矩阵不同的情形

----程序与例子----

#薛毅书P387

#利用贝叶斯分类器判断垃圾邮件

----多分类的情况----

#多分类下的距离判别法（薛毅书p382）

#多分类下的贝叶斯（薛毅书p390）

---

----Knn算法----

#算法主要思想

1,选取k个和待分类点距离最近的样本点

2,看1中的样本点的分类情况，投票决定待分类点所属的类

---

----决策树decision tree----

#什么是决策树

#输入：学习集

#输出：分类规则(决策树)

--例子

# 用SNS社区中不真实账号检测的例子说明如何使用ID3算法构造决策树。为了简单起见，我们假设训练集合包含10个元素。其中s、 m和l分别表示小、中和大。

----信息增益----

#设L、F、H和R表示日志密度、好友密度、是否使用真实头像和账号是否真实，下面计算各属性的信息增益。

----根据信息增益选择分裂属性----

#因此日志密度的信息增益是0.276。用同样方法得到H和F的信息增益分别为0.033和0.553。因为F具有最大的信息增益，所以第一次分裂选择F为分裂属性。

----递归+分而治之----

#在上图的基础上，再递归使用这个方法计算子节点的分裂属性，最终就可以得到整个决策树。

#这个方法称为ID3算法，还有其它的算法也可以产生决策树

#对于特征属性为连续值，可以如此使用ID3算法：先将D中元素按照特征属性排序，则每两个相邻元素的中间点可以看做潜在分裂点，从第一个潜在分裂点开始，分裂D并计

算两个集合的期望信息，具有最小期望信息的点称为这个属性的最佳分裂点，其信息期望作为此属性的信息期望。

----R语言实现决策树：rpart扩展包----

#以鸢尾花数据集作为算例说明

>iris.rp = rpart(Species~., data=iris,method="class")

>plot(iris.rp, uniform=T, branch=0,margin=0.1, main=“ Classification Tree\nIris Species by Petal and Sepal Length")

>text(iris.rp, use.n=T, fancy=T, col="blue")

#Rule 1: if Petal.Length>=2.45&Petal.Width<1.75, then it is versicolor(0/49/5)

#Rule2: if Petal.Length>=2.45&Petal.Width>=1.75, then it is virginica (0/1/45)

#Rule 3: if Petal.Length<2.45, then it is setosa (50/0/0)

---

---