Notes.
周志华《机器学习》学习笔记 - 绪论
2020-09-21 • ☕️ 1 min read
机器学习的定义
机器学习是这样一门学科：它致力于研究如何通过计算的手段，利用经验改善系统的性能。在计算机系统中，「经验」通常以「数据」的形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生「模型」（model）的算法，即「学习算法」（learning algorithm）。有了学习算法，我们把经验数据提供给它，他就能基于这些数据产生模型；在面对新的情况时，模型便会给我们提供相应的判断。
如果说计算机科学是研究关于「算法」的学问，那么类似地，机器学习是研究关于「学习算法」的学问。
假设用 P 来评估计算机程序在某任务 T 上的性能，若一个程序通过利用经验 E 在 T 中任务上获得了性能改善，则我们就说关于 T 和 P，则该程序对 E 进行了学习。 — Mitchell ,1997
基本术语
- 数据集（data set）: 用于进行机器学习的数据集合。
- 示例（instance）：数据集中的每一条记录称之为示例。
- 样本（sample）：同示例。
- 属性（attribute）：反映事件或对象在某方面的表现或性质的事项，称之为属性。
- 属性值（attribute value）：属性的取值，为属性值。
- 特征（feature）：同属性。
- 特征值（feature value）：同属性值。
- 属性空间（attribute space）：属性张成的空间，称之为 属性空间。
- 样本空间（sample space）：同属性空间。
- 输入空间（input space）：同属性空间。
- 特征向量（feature vector）：同示例。
- 维数（dimensionality）：示例包含的属性（特征）的个数，称之为样本的维数。
- 标记（label，vt）：动词，对示例进行「结果信息」的标记过程。
- 样例（example）：拥有标记信息的示例，称之为样例。一般地，用 来表示第 个样例，其中 是示例 的标记， 是所有标记的集合，亦称之为 标记空间 （label space）或输出空间。
机器学习任务的分类
根据训练数据是否据有标记信息，学习任务可大致划分为两大类：
- 监督学习 （supervised learning）
- 无监督学习（unsupervised learning）
分类和回归是前者的代表，而聚类则是后者的代表。
对于机器学习训练得到的模型而言，如果预测值是离散的，此类学习任务称为「分类」； 若预测的是连续值，则此类学习任务称为「回归」（regression）。
对于只涉及到两个类别的「二分类」，称其中一个类为 「正类」，另一个为「反类」。涉及到多个类别时，则称之为 「多分类任务」。
假设空间
归案和演绎是科学推理的两大基本手段，前者是从特殊到一半的「泛化」（generatlization），后者则是从一般到特殊的「特化」（specialization）
从样例中学习显然是一个 归纳 的过程，因此亦称之为 「归纳学习」（inductive learning）
记住训练样本，就是所谓的「机械学习」，或称为「死记硬背式学习」，没有泛化能力。
学习的过程可以看作一个在所有假设（hypothesis）组成的空间中进行搜索的过程。搜索目标是要找到与训练集匹配（fit）的假设。
归纳偏好
机器学习算法在学习过程中对某种假设类型的偏好，成为「归纳偏好」（inductive bias），或简称为「偏好」。
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上「等效」的假设所迷惑，而无法产生确定的学习结果。
归纳偏好可以看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或「价值观」。
归纳偏好设置的一般性原则有：
- 奥卡姆剃刀 （可通 贝叶斯定理加以证明 数学之美番外篇：平凡而又神奇的贝叶斯方法）
NLP（No Free Lunch Theorem）没有免费的午餐定理：所有问题出现的机会相同、或所有问题同等重要的前提下，所有机器学习算法的期望误差都是一样的。
NFL 定理最重要的寓意，是让我们清楚地认识到，脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所 有学习算法都一样好。要谈论算法的相对优劣，必须要针对具体的学习问题；在 某些问题上表现好的学习算法，在另一些问题上却可能不尽如人意，学习算法 自身的归纳偏好与问题是否相配，往往会起到决定性的作用。
发展历程
- 连接主义
- 符号主义
Personal blog by Natumsol.
Note thoughts and experience.