BeZer0 Space https://blog.bezer0.cn/ Embracing life as a vast wilderness Wed, 21 Oct 2026 12:29:28 GMT https://validator.w3.org/feed/docs/rss2.html https://github.com/jpmonette/feed zh-CN All rights reserved 2026, BeZer0 <![CDATA[第五章 神经网络]]> https://blog.bezer0.cn/learn-deep-learning/learn-deep-learning-5 https://blog.bezer0.cn/learn-deep-learning/learn-deep-learning-5 Tue, 20 Oct 2026 00:00:00 GMT

一、神经元模型

神经网络（neural networks） 中最基本的成分是神经元（neuron） 模型，在这个模型中，神经元接收到来自 个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection） 进行传递，神经元接收到的总输入值将于神经元的阈值进行比较，然后通过激活函数（activation function） 处理以产生神经元的输出。
理想的激活函数是阶跃函数，常用的激活函数是 Sigmoid ：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。

二、感知机与多层网络

感知机（Perceptron） 由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是 M-P 神经元，亦称阈值逻辑单元（threshold logic unit）。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
感知机能容易地实现逻辑与、或、非运算。假定 是阶跃函数，，则：
  • 与（）：令 则 ，仅在 时， ；
  • 或（）：令 则 ，当 或 时， ；
  • 非（）：令 ，则 ，当 时， ；当 时， 。
更一般地，给定训练数据集，权重 以及阈值 可通过学习得到。阈值 可以看作一个固定输入为 的哑结点（dummy node） 所对应的连接权重 ，这样，权重和阈值的学习就可统一为权重的学习。对训练样例 ，若当前感知机的输出为 ，则感知机学习规则如下：
其中 称为学习率（learning rate）。从上式中可以发现，若预测正确，则感知机不发生变化，否则将根据错误的程度进行权重调整。
由于感知机的结构过于简单，只能用于解决线性可分的问题。面对复杂的非线性问题时，需要考虑多层功能神经元。包含隐层即为多层网络，神经网络的学习过程就是根据训练数据来调整神经元之间的连接权（connection weight） 以及每个功能神经元的阈值。

三、误差逆传播算法

多层网络的学习能力比单层感知机强很多，但要训练多层网络，式 5.1 显然过于简单，因此需要使用误差逆传播（BackPropagation, BP）算法。
给定数据集 ，即输入示例由 各属性描述，输出 维实值向量：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上图给出了一个拥有 各输入神经元、 个输出神经元、 个隐层神经元的多层前馈网络结构，其中输出层第 个神经元的阈值用 表示，隐层第 个神经元的阈值用 表示。输入层第 个神经元与隐层第 个神经元之间的连接权维 ，隐层第 个神经元与输出层第 个神经元之间的连接权为 。记隐层第 个神经元接收到的输入为 ，输出层第 个神经元接收到的输入为 ，其中 为隐层第 个神经元的输出。假设隐层和输出层神经元都是用 Sigmoid 函数。
对训练例 ，假定神经网络的输出为 ，即输出层第 个神经元的输入与阈值的差函数：
则网络在 上的均方误差为：
上图网络中有 个参数需确定：输入层到隐层的 个权值、隐层到输出层的 个权值、 个隐层神经元的阈值、 个输出层神经元的阈值。BP 是一个迭代学习算法，在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计，即与式 5.1 类似，任意参数 的更新估计式如下：
以隐层到输出层的连接权 为例来进行推导，BP 算法基于梯度下降（gradient descent） 策略，以目标的负梯度方向对参数进行调整。对式 5.4 的误差 ，给定学习率 ，有：
注意到 先影响到第 个输出层神经元的输入值 ，再影响到其输出值 ，然后影响到 ，有：
根据 的定义，显然有：
由 Sigmoid 函数的性质得：
因此由式 5.3 和式 5.4 有：
将式 5.10 和 5.8 代入式 5.7 和 5.6 ，得到 的更新公式：
类似可得：
式 5.13 和 5.14 中：
学习率 控制着算法每一轮迭代中的更新步长，若太大则容易振荡，太小则收敛速度又会过慢。在精细调解过程中，可令式 5.11 和 5.12 中的学习率不同，BP 算法的工作流程如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
需要注意的是，BP 算法的目标是要最小化训练集 上的累计误差：
但是“标准的BP算法”每次仅针对一个训练样例更新连接权和阈值，也就是说上图中的算法更新规则是基于单个 推导得到的。如果类似地推导出基于累计误差最小化的更新规则，就得到了累计误差逆传播算法（accumulated error backpropagation）。累计 BP 算法与标准 BP 算法都很常用。
一般来说，标准 BP 算法每次更新只针对单个样例，参数更新得非常频繁，而且对不同样例进行更新的效果可能相互抵消。因此为了达到同样的效果，标准 BP 算法往往需要进行更多次数的迭代。累计 BP 算法直接针对累计误差最小化，它在读取整个训练集 一遍后才对参数进行更新，其参数更新的频率较低，但是当累计误差下降到一定程度之后，进一步下降会非常缓慢，此时标准 BP 往往可以更快获得更好的解，尤其是在大样本数据的情况下。
有人已经证明，只需一个包含足够多神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数，但是如何设置隐层神经元个数仍然没有定论，实际中常常采用试错法（trial-by-error）。
由于 BP 强大的表示能力，因此经常遭遇过拟合现象。为解决这个问题，一种策略是早停（early stopping）：将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。第二种策略是正则化（regularization）：在误差目标函数中增加一个用于描述网络复杂度的部分，例如连接权与阈值的平方和。仍令 表示第 个训练样例上的误差， 表示连接权和阈值，则误差目标函数变为：
其中 用于对经验误差与网络复杂度这两项进行折中，常通过交叉验证法来估计。

四、全局最小与局部极小

实际上 BP 的优化目标即为寻找一组最优参数使得 最小，在求解过程中会遇到两种“最优”：局部最优（local minimum） 和全局最优（global minimum）。对 和 ，若存在 使得：
都有 成立，则 为局部极小解；弱队参数空间中的任意 都有 ，则 为全局最小解。
基于梯度的搜索是使用最为广泛的参数寻优方法。在此类方法中，从某些初始解出发，迭代寻找最优参数值。每次迭代中，首先计算误差函数在当前点的梯度；然后根据负梯度的方向搜索；若误差函数在当前点的梯度为零，则已达到局部极小，更新量将为零。
在实际任务中，为跳出局部极小从而接近全局最小，可以采用以下策略“
  • 以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数。
  • 模拟退火（simulated annealing）：在每一步都以一定的概率接收比当前解更差的结果，迭代过程中，接收次优解的概率要逐渐降低，从而保证算法稳定。
  • 使用随机梯度下降：随机梯度下降在计算梯度时加入了随机因素，因此即便在局部极小点，所计算的梯度可能不为零，因此有助于跳出局部极小继续搜索。
  • 遗传算法（genetic algorithms）

五、深度学习

对神经网络模型，提高容量（capacity） 的一个简单方法是增加隐层数目。虽然单隐层的多层前馈网络已具有强大的学习能力，但从复杂度的角度来看，增加隐层数目更有效。因为增加隐层数不尽增加了拥有激活函数的神经元数目，还增加了激活函数嵌套的层数。然而多因曾神经网络难以直接用经典算法进行训练，因为误差在多隐层内逆传播时，往往会发散（diverge） 而不能收敛到稳定状态。
无监督逐层训练（unsupervised layer-wise training） 是多隐层网络训练的有效手段，其基本思想是每次训练一层隐结点，训练时将上一层隐结点的输出作为输入，而本层隐结点的输出作为下一层隐结点的输入，这称为预训练（pre-training）；在预训练全部完成后，在对整个网络进行微调（fine-tuning）。
预训练与微调的做法可以看作将大量参数分组，对每组先找到局部来看比较好的设置，然后再基于这些局部较优的结果联合起来进行全局寻优。这样就在利用了模型大量参数所提供的自由度的同时，有效地节省了训练开销。
另一种策略是权共享（weight sharing），即让一组神经元使用相同的连接权。这个策略在卷积神经网络（Convolutional Neural Network, CNN） 中发挥很大的作用。
通俗来看，深度学习实际上就是将低层的特征转化为高层特征后，用简单模型来完成分类等学习任务。由此可将深度学习理解为进行特征学习（feature learning） 或表示学习（representation learning）。
]]> <![CDATA[第三章 线性模型]]> https://blog.bezer0.cn/learn-deep-learning/learn-deep-learning-3 https://blog.bezer0.cn/learn-deep-learning/learn-deep-learning-3 Tue, 20 Oct 2026 00:00:00 GMT

一、基本形式

给定由 个属性描述的示例 ，其中 是 在第 个属性上的取值，线性模型（linear model） 就是学习一个通过属性的线性组合来进行预测的函数：
一般用向量形式写成：
非线性模型（nonlinear model） 可在线性模型的基础上引入层级结构或高维映射得到。线性模型具备较好的解释性。

二、线性回归

给定数据集 ，其中 。线性回归（linear regression） 是学习一个线性模型以尽可能准确地预测实值输出标记。
线性回归试图学得：
要确定 和 ，可以使均方误差最小：
均方误差对应了欧氏距离（Euclidean distance），基于均方误差最小化来进行模型求解的方法称为最小二乘法（least square method）。在线性回归中，最小二乘法就是找一条直线，使得所有样本到支线上的欧式距离之和最小。
求解 和 使 最小化的过程，称为线性回归模型的最小二乘参数估计（parameter estimation）。可将 分别对 和 求导，得到：
然后令上两个式子为 0 可得到 和 最优解的闭式（closed-form） 解：
其中 为 的均值。
若考虑样本的 个属性，此时需要学习：
这称为多元线性回归（multivariate linear regression）。
同样可以利用最小二乘法来进行估计，令 ，数据集 表示为一个 大小的矩阵 ，其中每行对应一个示例，该行前 个元素对应于示例的 个属性，最后一个元素恒置为 1 ：
把标记写成向量形式： ，则有：
令 ，对 求导得：
由矩阵微分公式： ， 可得：
令上式为 0 ，可得 最优解的闭式解，当 为满秩矩阵（full-rank matrix） 或正定矩阵（positive definite matrix） 时，可得：
令 ，则最终学得的多元线性回归模型为：
当 不满秩时，可解出多个 ，它们都能使均方误差最小化，选择哪一个解作为输出，将由学习算法的归纳偏好决定，常见做法是引入正则化（regularization） 项。
对于简单的线性模型，可以将模型预测值逼近 的衍生物，例如可将输出标记的对数作为线性模型逼近的目标：
这就是对数线性回归（log-linear regression），虽然该式形式上仍是线性回归，但实质上已是在求取输入控件到输出空间的非线性函数映射，如图，该函数可将线性回归模型的预测值与真实标签联系起来。
1
还可考虑单调可微函数 ：
这样得到的模型成为广义线性模型（generalized linear model），其中函数 称为联系函数（link function）。

三、对数几率回归

考虑二分类任务，其输出标记 ，需要将线性回归模型产生的预测值（实值）转换为离散值，最理想的是阶跃函数（unit-step function）：
1
从图中可以看出，单位阶跃函数不连续，因此不能直接使用，于是可以找到一些替代函数（surrogate function），这些函数单调可微，如对数几率函数（logistic function）：
将对数几率函数作为 ，得：
恒等变形：
若将 视为样本 作为正例的可能性，则 是其反例可能性，两者比值：
称为几率（odds），反映了 作为正例的相对可能性，对几率取对数则得到对数几率（log odds, 亦称 logit）：
由此可看出，式（3.18）实际上是在用线性回归模型的预测结果去逼近真是标记的对数几率，因此对应的模型称为对数几率回归（logistic regression，亦称 logit regression）。
下面来确定式（3.18）中的 和 ，若将式（3.18）中的 视为类后验概率估计 ，则式（3.19）可重写为：
显然有：
于是，可以通过极大似然法（maximum likelihood method） 来估计 和 。给定数据集 ，对率回归模型最大化对然似然（log-likelihood）：
即令每个样本属于其真实标记的概率越大越好。为便于讨论，令 ，则 可简写为 。再令 ，则上式中的似然项可重写为：
将式（3.26）带入（3.25），并根据式（3.23）和（3.24）可知，最大化式（3.25）等价于最小化：
式（3.27）是关于 的高阶可导连续凸函数，根据凸优化理论，经典的数值优化算法如梯度下降法（gradient descent method）、牛顿法（Newton method） 等都可求得其最优解，于是就得到：
以牛顿法为例，其第 轮迭代解的更新公式为：
其中关于 的一阶、二阶导数分别为：

四、线性判别分析

LDA 也是一种对数据进行降维的方法，与 PCA 不同的是，LDA 是一种有监督的数据降维方法。
PCA 存在局限性，例如两组本来可分的数据，降维后在新的空间中不可分。
LDA 降维的目标：将带有标签的数据降维，须满足三个条件：
  • 尽可能多的保留样本信息；
  • 寻找使样本尽可能好分的投影方向；
  • 投影后使同类样本尽可能接近，不同类样本尽可能远离；

1. 优化目标

线性，指将数据点投影到直线上，直线表达式为：
表示样本向量，如果投影到一条直线上 就是一个特征向量或者多个特征向量构成的矩阵。 为投影后的样本点。
首先考虑两类样本的情况，将数据投影到直线 上，则两类样本的中心在直线上的投影分别为 和 ，其中 表示第 类样本的均值，若将所有的样本点都投影到直线上，则两类样本的协方差分别为 和 ，投影后同类样本协方差矩阵的计算步骤如下：
其中用到了公式： 。
上式中间部分 是同类样本投影前的协方差矩阵。故可以发现若投影前的协方差矩阵为 ，则投影后的协方差矩阵为 。
要使得同类样例的投影点尽可能接近，可以让同类样本点的协方差矩阵尽可能小，即 尽可能小；要使得异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即 尽可能大。于是得到最大化的优化目标：
其中 表示欧几里得范数， 。

2. 协方差与样本分布的关系

要使得同类样例的投影点尽可能接近，可以让同类样本点的协方差矩阵尽可能小，即 尽可能小；要使得异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即 尽可能大。
为什么协方差矩阵可以反映出样本或样例点之间的距离关系？首先来看协方差和方差的公式：
可以发现两者非常相似。已知方差可以用来度量数据的离散程度， 越大，表示数据距离离样本中心越远，数据就越离散，方差也就越大。同样的，对于协方差来说， 和 越大，表示数据距离样本中心越远，数据分布就越分散，协方差也就越大。因此上述观点成立。

3. 类间散度矩阵

类间散度矩阵就是协方差矩阵乘以样本数目，其作用基本与协方差矩阵一致。
对于两类样本来说：
其中 表示协方差矩阵， 表示样本数目。
对于多类问题来说：
其中 表示类别数目， 表示所有样本的均值向量 。
如果只使用类间散度矩阵一个约束条件来对数据进行降维，即让类间的样本投影尽可能远离，参考 PCA 的降维过程：
不同的是，为了保证类间的样本投影后尽可能远离，我们应该选择特征值最大的特征向量代表的方向做投影。这样才能保证不同类样本投影之后方差尽可能大，尽可能远离。

4. 类内散度矩阵

对于两类问题来说：
对于多类问题来说：
其中 表示第 类样本的协方差矩阵。所以 表示 类样本协方差矩阵之和。
如果只是用类内散度矩阵一个约束条件来对数据进行降维，即让类内的样本投影尽可能接近，参考 PCA 的将为过程：
不同的是，为了保证类内的样本投影后尽可能接近，我们应该选择特征值最小的特征向量代表的方向做投影。这样才能保证同类样本投影之后方差尽可能小，尽可能接近。

5. 优化

定义了类内散度矩阵和类间散度矩阵后，可以将优化目标转换为：
即 与 的广义瑞利商。
接下来确定 ，注意上式的分子和分母都是关于 的二次项，因此上式的解与 的长度无关，只与其方向有关。令 ，则上式等价于：
使用拉格朗日乘子法，上式等价于：
可以看到上式转化为一个求特征值和特征向量的问题。 是要求解的特征向量，这就验证了之前所说的式子 中的 就是特征向量构成的矩阵。
但是此时仍有一个问题，那就是 通常是不可逆的，因此有以下方法解决：
  1. 令 ，其中 是一个特别小的数，从而使得 可逆；
  1. 先使用 PCA 降维，使得降维后的数据上 可逆，然后再使用 LDA 。

五、多分类学习

二分类的方法可以推广至多分类任务，简单来说就是对多分类任务拆分为多个二分类任务。最经典的拆分策略有一对一（One vs. One, OvO），一对其余（One vs. Rest，OvR; One vs. All, OvA）和多对多（Many vs. Many, MvM）。
OvO 方式对 个元素的数据集会生成 个分类器，在测试阶段将新样本提交给所有的分类器即可得到最终分类的结果。
OvR 方式是每次将一个类别的样例作为正例，其余类别作为反例来训练 个分类器，测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果；若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果。
从上述两种方法可以发现，前者空间开销更大，后者时间开销更大。这是因为前者训练的分类器个数更多，后者每次训练时用到的样本个数更多。
MvM 方法是每次将若干类作为正类，若干类作为反类，因此该方法的构造需要有特殊的设计。一种常用的方法为：纠错输出码（Error Correcting Output Codes, ECOC），该方法是将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性。ECOC 工作过程主要分为两步：
  • 编码：对 N 个类别做 M 次划分，每次划分将一部分类别划为正类，一部分划为反类，从而形成一个二分类训练集；这样一共产生 M 个训练集，可训练出 M 个分类器。
  • 解码：M 个分类器分别对测试样本进行预测，这些预测标记组成一个编码。将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测结果。
类别划分通过编码矩阵（coding matrix）指定。编码矩阵有多种形式，常见的主要有二元码和三元码。前者将每个类别分别指定为正类和反类，后者在正、反类之外，还可指定停用类。在图（a）中，分类器 将 类和 类的样例作为正例，将 类和 类的样例作为反例；在图（b）中，分类器 将 类和 类的样例作为正例， 类作为反例。在解码阶段，各分类器的预测结果联合起来形成了测试示例的编码，该编码与各类所对应的编码进行比较，将距离最小的编码所对应的类别作为预测结果。例如图（a）中，若基于欧氏距离，预测结果将是 。
在这里插入图片描述
之所以叫纠错输出码，是因为在测试阶段，ECOC 编码器对分类器的错误有一定的容忍与修正能力。例如图（a）所示，测试样例的正确预测编码为（-1,+1,+1,-1,+1），假设在预测时 分类器出错导致编码为（-1,-1,+1,-1,+1），但是基于该分类仍能正确得出分类结果 。一般来说，对同一个学习任务，ECOC 编码越长，纠错能力越强，但同时也意味着所需训练的分类器越多，各方开销会增大。另一方面，对有限类别数，可能的组合数目是有限的，这就限定了码长的范围。

六、类别不平衡问题

类别不平衡（class-imbalance） 就是指分类任务中不同类别的训练样例数目差别很大的情况。本节假设正类样例较少，反类样例较多。
从线性分类器的角度讨论，使用 对新样本进行分类时，事实上是再用预测出的 值与一个阈值（通常为 0.5）比较。 实际上表达了正例的可能性，几率 则反映了正例可能性与反例可能性之比值，阈值设置为 0.5 表明分类器认为而这可能性相同，即分类器决策规则为：
然而当二者树木不同时，令 分别表示正例数目和反例数目，则观测几率是 ，由于通常假设训练集是真实样本总体的无偏采样（表示采样的数据很好的代表了真是样本的情况），因此观测几率代表了真实几率。于是，只要分类器的预测几率高于观测几率就应该判定为正例，即：
为将式 3.49 转换为式 3.50 ，则令：
这就是类别不平衡学习的一个基本策略——再缩放（rescaling），再平衡（rebalance）。该方法也是代价敏感学习（cost-sensitive learning） 的基础。这个方法的重要前提是：训练集是真是样本总体的无偏采样，但是这个假设往往不成立。因此有另外三种方法：
  1. 直接对训练集里的反类样例进行欠采样（undersampling），即去除一些反例使得正、反例数目接近；
  1. 对训练集里的正类样例进行过采样（oversampling），即增加一些正例使得正、反例数目接近；
  1. 阈值移动（threshold-moving），直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将上式嵌入到决策过程中。
需要注意的是，过采样法不能简单地对初始样例样本进行重复采样，否则会导致过拟合。一种代表性的算法为 SMOTE ，通过对训练集里的正例进行插值来生成额外的正例。欠采样法若随机丢弃反例，则可能丢失部分重要信息。一种代表性的算法为EasyEnsemble，利用集成学习机制，将反例划分为若干个集合供不同学习器使用，这样对每个学习起来看完成了欠采样，但在全局来看并未丢失信息。
]]> <![CDATA[第四章 决策树]]> https://blog.bezer0.cn/learn-deep-learning/learn-deep-learning-4 https://blog.bezer0.cn/learn-deep-learning/learn-deep-learning-4 Tue, 20 Oct 2026 00:00:00 GMT

一、基本流程

决策树（decision tree） 是一种常见的机器学习方法。一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点；叶节点对应于决策结果，其他每个结点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列。决策树学习的目的是为了产生一棵泛化能力强的决策树，算法如下：
由此可见，决策树的生成是一个递归过程。

二、划分选择

从算法中可以看出，决策树学习的关键是划分最优属性。一般来说，随着划分过程不断进行，要使决策树的分支结点所包含的样本尽可能属于同一类别，即结点的纯度（purity） 越来越高。

1. 信息增益

信息熵（information entropy） 是度量样本集合纯度最常用的一种指标。假定当前样本集合 中第 类样本所占比例为 ，则 的信息熵定义为：
的值越小，则 的纯度越高。
假定离散属性 有 个可能的取值 ，若使用 来对样本集 进行划分，则会产生 个分支结点，其中第 个分支结点包含了 中所有在属性 上取值为 的样本，记为 。利用上式可以计算出 的信息熵，再考虑到不同的分支结点所包含的样本数不同，给分支结点赋予权重 ，即样本数越多的分支结点的影响越大，于是可计算出用属性 对样本集 进行划分所获得的信息增益（information gain）：
信息增益越大，则意味着使用属性 来进行划分所获得的纯度提升越大。因此，可用信息增益来进行决策树的划分属性选择。

2. 增益率

信息增益准则对可取值树木较多的属性有所偏好，为减少这种偏好可能带来的不利影响，可以使用增益率（gain ratio）：
其中 称为 的固有值（intrinsic value）。属性 的可能取值数目越多，则 的值通常会越大。需要注意的是，增益率准则对可取值数目较少的属性有所偏好，因此 算法使用了一个启发式：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

3. 基尼指数

基尼值可以度量数据集纯度：
反映了从数据集 中随机抽取两个样本，其类别标记不一致的概率，因此基尼值越小则数据集纯度越高。基尼指数（Gini index） 定义：
因此在侯选属性集合 中，选择使基尼指数最小的属性作为最优划分属性。

三、剪枝处理

剪枝（pruning） 是决策树学习算法中解决过拟合的主要手段。
决策树剪枝的基本策略有预剪枝（prepruning）和后剪枝（post-pruning）。预剪枝指在决策树生成过程中，对每个结点在划分前进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点；后剪枝则是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。
1
2
3

四、连续与缺失值

1. 连续值处理

要想使用连续属性来生成决策树，就需要对连续值进行处理。最简单的策略是采用二分法（bi-partition）。
假定有一个连续属性 ，它具有多个不同的取值，将这些值从小到大排序，使得其在某个划分点 可以对样本集 进行划分，此时 就等于相邻两被划分元素取值的均值：
为选取最优的划分点，可对式 4.2 进行改造：
其中 是样本集 基于划分点 二分后的信息增益，因此可选择使其最大化的划分点。

2. 缺失值处理

如何在属性值缺失的情况下进行划分属性选择？
给定训练集 和属性 ，令 表示 中在属性 上没有缺失值的样本子集。假定属性 有 个可取值 ，令 表示 中在属性 上取值为 的样本子集， 表示 中属于第 类的样本子集，则显然有 ， 。假定为每个样本 赋予一个权重 ，并定义：
直观来看，堆属性 ， 表示无缺失值样本所占的比例， 表示无缺失值样本中第 类所占的比例， 表示无缺失值样本中在属性 上取值 的样本所占的比例。显然 ， 。基于上述定义，可对式 4.2 进行改造：
其中，由式 4.1 ，有：
给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？
若样本 在划分属性 上的取值已知，则将 划入与其取值对应的子结点，且样本权值在子结点中保持为 。若样本 在划分属性 上的取值未知，则将 同时划入所有子结点，且样本权值在与属性值 对应的子结点中调整为 。直观的看，这就是让同一个样本以不同的概率划入到不同的子结点中去。

五、多变量决策树

若把每个属性视为坐标空间中的一个坐标轴，则 个属性描述的样本就对应了 维空间中的一个数据点，对样本分类则意味着在这个空间中寻找不同类样本之间的分类边界。决策树所形成分类边界的特点是轴平行（axis-parallel），即它的分类边界由若干个与坐标轴平行的分段组成。
4
因此，这样的分类边界使得学习结果有较好的可解释性，因为每一段划分都直接对应了某个属性取值。但是当学习任务的真实分类边界比较复杂时，必须使用很多段划分才能获得较好的近似。
5
此时决策树非常复杂，由于要进行大量的属性测试，因此预测时间开销很大。若能使用斜的划分边界，如上图红色线断所示，决策树模型将被简化。多变量决策树（multivariate decision tree）可以实现这个目标。在此类决策树中，非叶结点不再是仅对某个属性，而是对属性的线性组合进行测试，即每个叶结点是一个形如 的线性分类器，其中 是属性 的权重， 和 可在该结点所含的样本集和属性集上学得。于是，与传统的单决策树（univariate decision tree）不同，在多变量决策树的学习过程中，不是为每个非叶结点寻找一个最优划分属性，而是建立一个合适的线性分类器。
6
7
]]> <![CDATA[eddsa 算法]]> https://blog.bezer0.cn/program-design/eddsa https://blog.bezer0.cn/program-design/eddsa Thu, 15 Oct 2026 00:00:00 GMT

信息安全课程设计：eddsa 算法

一、项目要求

  1. 使用 C++ 语言开发；
  1. 可以实现公私钥生成、签名、认证；
  1. 只需要手动输入明文，代码会自动生成公私钥、签名、认证；
  1. 记录公私钥生成、签名、认证的时间；
  1. 在 VS 上运行，使用 miracl 库。 # 二、算法原理参考
  1. 一文读懂ECDSA算法如何保护数据
  1. Edwards-Curve Digital Signature Algorithm (EdDSA)
  1. WHAT’S AN EDDSA?
  1. ECDSA、EdDSA 和 Ed25519 的区别
  1. EdDSA and Ed25519 # 三、效果展示
      2. 15
15

四、使用方法

注：该算法使用了 MIRACL 的核心库（MIRACL-core）

1. 简单使用版

  1. 解压文件夹
  1. 运行 testecc.exe 即可

2. vs 配置方法

  • 以 VS 2019 为例，首先创建一个新项目，放在你能找到的位置：
      • 1
      2
      3
  • 把解压的文件全都复制进去：
      • 4
  • 添加源文件：
      • 5
      6
  • 添加头文件：
      • 7
      8
  • 由于 MIRACL 核心库 core.a 不能直接使用，因此需要配置外部工具： 其中内容为：配置成功后会在工具栏出现 g++ 工具：
      • 9
      10
    • g++
    • D:\Software\mingw64\bin\g++.exe （注：找到你自己电脑下的该文件目录才行，如果找不到自行百度安装 mingw64）
    • o2 $(ItemFileName).cpp core.a -o $(ItemFileName)
    • $(SolutionDir)
      • 11
  • 打开 testecc.cpp 文件，运行 g++：
      • 12
  • 如果输出为空，且 testecc.cpp 文件的时间发生变化则表示编译成功：
      • 13
  • 由于VS不能直接打开文件，因此需在文件夹内打开 testecc.exe 文件查看：
      • 14
  • 如果需要修改源文件，请先保存文件后再用 g++ 工具编译，即每次修改代码后都需要：
    • 保存文件
    • g++ 工具编译
    • 运行文件夹中的 testecc.exe
]]> <![CDATA[天牛须算法]]> https://blog.bezer0.cn/program-design/3f70bc13-b7ac-809b-8041-f337dbdcf871 https://blog.bezer0.cn/program-design/3f70bc13-b7ac-809b-8041-f337dbdcf871 Mon, 12 Oct 2026 00:00:00 GMT

一、介绍

天牛须算法（Beetle Antennae search algorithm, BAS）是由 Jiang 等人于2017年提出的一种智能优化算法，该算法模拟了天牛寻食物时的搜索方式，是一种单体搜索算法，该算法原理简单、参数少、计算量少，在处理低维优化目标时具有优势。
天牛在觅食过程中，会被食物的气味吸引。天牛通过其两只触角对空气中的食物气味进行感知，由于食物距离两只触角的距离远近不同，因此触角所感知的气味浓度也有所差异。当食物处于天牛左侧时，左侧触角感知的气味浓度强于右侧触角感知的气味浓度，因此天牛可以根据两只触角所感知的浓度差，向着浓度强的一侧随机前进。多次迭代后最终找到食物的位置。

二、原理

介绍算法前可以先设定一些概念：
在 n 维空间中天牛的位置为：
天牛左右两只触角的位置：
其中 表示天牛质心与触须的距离， 表示随机单位向量，需要对单位向量进行归一化操作：
由于两只触角获得两个位置的目标函数信息，因此需要对两个位置择优前进：
其中 表示迭代次数， 函数为目标函数， 表示第 次探索时的步长， 为符号函数。通常在每次迭代过程中步长需要不断变小，因此可以将其设置为：
其中 表示每次迭代步长缩短的速度，通常设定为 0.95 。

三、参考代码

此代码为最大值模板，若要改为最小值，需要改变下面的代码：
]]> <![CDATA[代理配置]]> https://blog.bezer0.cn/program-design/3f70bc13-b7ac-8092-8257-f86d7a8daa37 https://blog.bezer0.cn/program-design/3f70bc13-b7ac-8092-8257-f86d7a8daa37 Mon, 12 Oct 2026 00:00:00 GMT

Git 代理配置

conda 代理配置

]]>