Data概念篇DM（二）数据

数据类型

什么是属性？
- 属性（attribute）是对象的性质或特性，因对象而变，随时间而变。
- 测量标度（measurement scale）是将数值或符号值与对象的属性相关联的规则（函数）。
属性类型
- 通常将属性的类型称为测量标度的类型。
属性的不同类型
用值的个数描述属性
- 离散的（discrete），二元属性（Binary attribute）
- 连续的（continuous）
非对称的属性
- 非对称的属性（asymmetric attribute）

数据集的一般特性
- 维度（dimensionality）
- 稀疏性（sparsity）
- 分辨率（resolution）
记录数据
- 事务数据（transaction data）、购物车数据（market basket data）
- 数据矩阵
- 稀疏数据矩阵：文档-词矩阵（document-term matrix）
基于图形的数据
- 带有对象之间联系的数据：如链接的网页
- 具有图形对象的数据
有序的数据
- 时序数据（sequential）/ 时间数据（temporal data）
- 序列数据（sequence data）
- 时间序列数据（time series data）
- 空间数据

抽样是一种选择数据对象子集进行分析的常用方法，抽样具有代表性。
抽样方法：
- 简单随机抽样（sample random sampling）：无放回/有放回
- 分层抽样（stratified sampling）
渐进抽样（progressive sampling）、自适应（adaptive）

维规约：通过创建新属性，将一些旧属性合并在一起来降低数据集的维度（特征子集选择或特征选择）
好处
- 使模型更容易理解；
- 更容易让数据可视化；
- 降低了数据挖掘算法的时间和内存需求。
维灾难：高维数据，分类准确率降低，聚类质量下降
维规约的线性代数技术：主成分分析（Principal Components Analysis, PCA）、奇异值分解（Singular Value Decomposition, SVD）

04-01 简单属性之间的相似度和相异度

二元数据的相似性度量
- 相似系数（similarity coefficient）
- 简单匹配系数（Simple Matching Coefficient, SMC）
  - $SMC=\frac{值匹配的属性个数}{属性个数}=\frac{f_{11}+f_{00}}{f_{01}+f_{10}+f_{11}+f_{00}}$
- Jaccard系数（Jaccard Cofficient）
  - $J=\frac{匹配的个数}{不涉及0-0匹配的属性个数}=\frac{f_{11}}{f_{01}+f_{10}+f_{11}}$
余弦相似度
- 余弦相似度（cosine similarity）
  - $\cos(x,y)=\frac{x\cdot y}{||x||||y||}$
  - $x\cdot y=\sum^n_{k=1}x_ky_k$
  - $||x||=\sqrt{\sum^n_{k=1}x^2_k}=\sqrt{x\cdot x}$
广义Jaccard系数
- 广义Jaccard系数又称Tanimoto系数
- $EJ(x,y)=\frac{x\cdot y}{||x||^2+||y||^2-x\cdot y}$
相关性
- 皮尔森相关（Pearson’s correlation）系数
  - $corr(x,y)=\frac{covariance(x,y)}{standard_deviation(x)\times standard_deviation(y)}=\frac{s_{xy}}{s_xs_y}$
  - $covariance(x,y)=s_{xy}=\frac{1}{n-1}\sum^n_{k-1}(x_k-\overline x)(y_k-\overline y)$
  - $standard_deviation(x)=s_x=\sqrt{\frac{1}{n-1}\sum^n_{k=1}(x_k-\overline x)^2}$
  - $standard_deviation(y)=s_x=\sqrt{\frac{1}{n-1}\sum^n_{k=1}(y_k-\overline y)^2}$
- 非线性相关：如果相关度为0，则两个数据对象的属性之间不存在线性关系，然而，仍然可能存在非线性关系。
- Bregman散度：损失或失真函数
  - $D(x,y)=\phi(x)-\phi(y)-<\nabla(y),(x-y)>$