创出「反向传播」垄断，「正向自动微分」也能计算梯度，且训练时间减少一半

p>

其中所，%u3B8∈R n 是风险评估分量的关键点，v∈R n 是一个西移动formula_，被视为一个多元随机变量v∼p(v)，这样 v 的非零分量 vi 是实质上的，对所有 i 都有零中值和该单位方差，∇f(%u3B8)-v∈R 是 f 在在 v 斜向上 %u3B8 点的斜向等价。

简要地说好一下这个界定的语源。

正因如此，朝著方式上直接给我们备有了斜向等价∇f(%u3B8) - v = P i ∂f ∂%u3B8i vi，无必需测算∇f。将 f 朝著风险评估 n 次，斜向formula_取为标准化基（独热码）formula_ei∈R n，i=1 ... n，其中所ei暗示在第i个矢量上为1、其他地方为0的formula_，这时，都用朝著方式上就可以测算∇f。这样就可以分别风险评估f对每个输入∂f ∂%u3B8i的敏感官能，把所有结果拆分后就可以受益分量∇f。

为了获得比面有置传递更优的间隔等待时间优势，我们必必需在每个最优化递归中所行驶一次朝著方式上。在一次朝著行驶中所，我们可以将斜向v忽略为准确性计量和中所的权利为重formula_，即P i ∂f ∂%u3B8i vi，尽管这没自行界定每个%u3B8i在事与愿违为数中所的杰出贡献。因此，我们用于权利为重formula_v将总体准确性并不普遍认为每个单独的模板%u3B8i，与每个模板%u3B8i的权利为重vi相等（例如，权利为重小的模板在总准确性中所的杰出贡献小，权利为重大的模板杰出贡献大）。

总之，每次风险评估朝著分量时，我们只必需做所列工作：

对一个随机西移动formula_v∼p(v)进行时量化，其微小与f的第一个模板相异。 通过AD朝著方式上行驶f算子，在一次朝著行驶中所同时风险评估f(%u3B8)和∇f(%u3B8)-v，在此过程中所无必需测算∇f。受益的斜向等价（∇f(%u3B8)-v）是一个非零，并且由AD准确测算（不是近似值）。 将非零斜向等价∇f(%u3B8)-v与分量v化简，受益g(%u3B8)，即朝著分量。

所示 1 结果显示了 Beale算子的几个朝著分量的风险评估结果。我们可以看着西移动vk（深蓝色）如何在k∈[1，5]的意味着转化为朝著分量（∇f-vk）vk（深蓝色），在受到连到上限时偶尔也都会连到正确的分量（蓝色）。蓝色箭头暗示通过大约朝著分量来风险评估蒙特卡洛分量，即1 K PK k=1(∇f - vk)vk≈E[(∇f - v)v]。

朝著分量上升

他们为重构了一个朝著分量上升（FGD）搜索算法，用朝著分量g代替标准化分量上升中所的分量∇f（搜索算法1）。

在实践中所，他们用于小型随机旧版，其中所 ft 在每次递归中所更都会趋于稳定，因为它都会被体能训练中所用于的每一小批数据负面影响。深入研究注意到，搜索算法 1 中所的斜向等价dt可以为正无理数。如果为无理数，朝著分量gt的斜向都会牵涉到逆转，连到预料中所的真实分量。所示1结果显示的两个vk样本，显然这种暴力行为。

在本文中所，他们将范围上限在FGD上，普通人研究了这一为基础搜索算法，并将其与标准化面有置传递进行时比起，不顾虑动量或渐进研修领军等其他各种电磁干扰因素。笔者普遍认为，朝著分量搜索算法是可以运用到其他基于分量搜索算法的最优化搜索算法系列中所的。

3 实验室

深入研究在PyTorch中所执行朝著AD来进行时实验室。他们见到，朝著分量与面有置传递这两种原理在缓存上没仅仅相异（每个实验室的相异都小于0.1%）。

命题回归

所示 3 给出了多短柄命题回归在MNIST进制归纳上的几次行驶结果。我们仔细观察到，相比整体间隔等待时间，朝著分量和面有置传递的间隔等待时间开销共五 Rf=2.435 和 Rb=4.389，这与人们对众所周知AD子系统的期望大相径庭。

Rf/Rb=0.555和Tf/Tb=0.553的比领军表明，在间隔等待时间和巨大损失官能能方面，朝著分量差不多比面有置传递快两倍。

在最简单的模型中所，这些比领军是一致的，因为这两种技术在自由空间暴力行为的递归巨大损失上仅仅相异，这意味着行驶时收益仅仅直接反映在每个等待时间自由空间的巨大损失上。

多层数据分析

所示4结果显示了用多层数据分析在相同研修领军下进行时MNIST归纳的两个实验室。他们用于了三个指令集微小共五1024、1024、10的仅有连接层。在这个模型指令集中所，他们仔细观察到朝著分量和面有置传递一般而言为基础间隔等待时间的行驶开销为Rf=2.468和Rb=4.165，相对准确测量 Rf/Rb 大约为0.592，与命题回归的持续性大致相异。

有趣的是，在第二个实验室中所（研修领军为2휐-4），我们可以看着朝著分量在每个递归巨大损失所示中所都付诸了并能的上升。作者普遍认为，这种暴力行为是由于值得注意SGD（面有置传递）和朝著SGD搜索算法的随机官能相同所加剧的，因此他们表明：朝著分量引入的电磁干扰可能稳固于揭示巨大损失四边形。

我们可以从等待时间曲线所示看着，朝著方式上减低了间隔等待时间。我们看着，巨大损失官能能指标Tf/Tb值为0.211，这表明在可验证实验室巨大损失的过程中所， 朝著分量的低速是面有置传递的四倍以上。

差分数据分析

所示 5 示范了一个差分数据分析对同一MNIST归纳任务的朝著分量和面有置传递的比起。

在这个指令集中所，他们仔细观察到，一般而言整体间隔等待时间，朝著AD的官能能极好，其中所朝著方式上的Rf=1.434，都有了在整体间隔等待时间之上的开销只有 43%。Rb=2.211 的面有置传递更为比起面有置 AD 子系统中所所盼望的理想持续性。Rf/Rb=0.649 都有了朝著AD间隔等待时间一般而言面有置传递的一个显著优势。在巨大损失自由空间，他们受益一个比领军 Tf /Tb=0.514，这表明在可验证巨大损失的实验室中所，朝著分量的低速比面有置传递的低速要快两倍。

可扩展官能

前面的几个结果表明：

不必面有置传递也可以在一个众所周知的ML体能训练管线中所进行时体能训练，并且以一种竞争测算的方式来付诸； 在相异模板（研修领军和研修领军发散）的意味着，朝著AD比面有置传递所消耗的等待时间要少很多。

一般而言为基础行驶时的开销，我们看着，对于以外实验室，面有置传递在Rb∈[4,5]内，朝著分量在Rf∈[3,4]内。我们还仔细观察到，朝著分量搜索算法在整个仅限于对行驶都是稳固的。Rf/Rb比领军在10层至少保持在0.6所列，在100层时低于0.8。为重要的是， 这两种原理在缓存消耗上仅仅没差别。

4 假置

总的来说，这篇工作的几点杰出贡献主要如下：

他们将「朝著分量」（forward gradient）界定为：一个无面有差的、基于朝著相应几何且从不涉及到面有置传递的分量估算机内。 他们在PyTorch中所从零开始，付诸了朝著方式上的相应几何子系统，且完仅有不依赖PyTorch中所已有的面有置传递。 他们把朝著分量方式上运用在各类随机分量上升（SGD）最优化中所，之前的结果充分显然：一个众所周知的现代神经网络体能训练管线可以都用于相应几何朝著传递来为重构。 他们比起了朝著分量和面有置传递的间隔等待时间和巨大损失消耗等等，显然在一些意味着，朝著分量搜索算法的低速比面有置传递快两倍。。

镇江白癜风医院怎么样
常州早泄阳痿治疗哪家好
天津牛皮癣医院哪家专业好
天津癫痫医院去哪家好
郑州癫痫权威医院