干货！鲁棒彩票现象：藏在随机初始化神经因特网中的鲁棒子因特网

s，而无须满足两点前提：

Make the search process aware of robust training objectiveEnsure the sparsity of the drawn subnetworks

因此，我们提出了一个Adversarial Search，其能够函数如下请注意：

M^就是我们的能够。

04

Robust Scratch Ticket: The Existence

实验者预设

我们在3个datasets和4个networks上顺利完成了Robust Scratch Ticket的实验者：ResNet-18/WideResNet-32 on CIFAR-10/100ResNet-50/101 on ImageNetModel initialization: Signed Kaiming Constant Initialization (by defaultSparsity pattern: element wise (by default)Attack setting: PGD-20 with ε=8 (by default)

我们可以发掘出在各种network和datasets都可以发掘出RSTs的假定。

横传动装置：亦然在一个network当中有多少的位置被沿用了下来

纵传动装置：并不相同颜色的线亦然了并不相同的network，红黄亦然着dense network在做了adversarial training后能的大出的三高Robust Accuracy。

在很尤其适用范围内，我们的RSTs与红黄亦然的结果保持了相差无几的Robust Accuracy。

我们也曾一度发掘出在很广的适用范围当中认出的RSTs与做过adversarial training的network来得，有较好的鲁棒性和权重表原是。

RST (90% sparsity) @ WideResNet-32: +1.14%/+1.72% robust/natural accuracy with -60% parameters vs. the adversarially trained ResNet-18

从匹配化程度较差（更多）的network当中识别出的RSTs比从匹配化程度较轻的network当中识别出的RSTs不具较好的robust/natural accuracy。

我们在并不相同的setting上也顺利完成了很多实验者。

05

Robust Scratch Ticket: The Properties

无论如何一：认出的RSTs没有经过军事训练，但如果顺利完成一个weight的fine-tuned后是否但会拿下较好的结果？

实验者

设立两种Fine-tuned RSTs

Fine-tuned RSTs starting with model weights inherited from the vanilla RSTFine-tuned RSTs with reinitialized weights

我们比较了这两种经过fine-tuned的RSTs和原本的结果有什么并不相同。

Vanilla RSTs vs. fine-tuned在较尤其适用范围的remaining ratio下，实原是了相当稳健的精度Fine-tuned RSTs with inherited weights：在较高remaining ratio完全，大部分RSTs保持了较好的鲁棒性。Fine-tuned RSTs with re-initialization: 在较高remaining ratio完全，来得原来的RSTs不具相似甚至很差的稳健性

上述情况反映出了lottery ticket phenom，即我们认出的RSTs本来就是较好的initialization，如果再用他作为initialization来顺利完成fine-tuned认出的侄互联网，那么也但会拿下较好的结果。

RSTs win a better initialization as fine-tuned RSTs with inherited weights are more robust than the re-initialized one

在并不相同的model和datasets上我们的结论都是来得之下明确的。

无论如何二：RSTs的search process不止可以请注意随机的互联网上，当请注意军事训练好的互联网上是否但会拿下较好的效果呢？

实验者

设立两种Robust Trained Tickets (RTTs）

Natural RTTs: RTTs searched from naturally trained networksAdversarial RTTs: RTTs searched from adversarially trained network Adversarial RTTs：不具最好的robustnessNatural RTTs：robust/natural accuracy的表原是甚至不如 vanilla RSTs

这就是说，在naturally trained的model当中找寻侄互联网还不如去随机模板的互联网当中回来侄互联网。下面，我们就通过实验者探究一下主因。

结果我们发掘出naturally trained的model但会对input上的perturbation极其sensitive，所以我们对model的input上加了扰动。此后记录下来下加noise前后最后一层feature map的变异，就有了上绘出请注意。我们可以看出，在naturally trained的model上，最后一层feature map的变异最为相对来说。这也就解释了naturally trained的model当中找寻侄互联网表原是不佳的主因。

06

Robust Scratch Ticket: The Applications

我们发掘出在并不相同的weight remaining ratios下，RSTs的adversarial transferability的表原是很差。

y传动装置：我们用哪个RST来分解成attack

x传动装置：用哪个ratio的RST来做influence

对角线：这两个RST如果为同一个，adversarial transferability的表原是就但会很差。

我们在并不相同的互联网和数据集上均有近似于发掘出。

我们选择在并不相同的RSTs密切人关系Randomly switch，这其实是博弈的过程。Attacker金额defender都可以本体最合适的attack和defend策略，最终但会的大出nash均衡。我们发掘出Randomly switch这些RSTs的结果和nash均衡下的鲁棒性表原是明确。

优点：

Parameter-efficiency due to the weight-sharing schemeThe same randomly initialized networks can be shared among different tas

我们发掘出把R2S应请注意ResNet-18此后，比adversarial trained的ResNet-18还能拿下较好的鲁棒性表原是。

上述结果在其他datasets上的表原是是普遍明确的。

我们还发掘出如何选取RST并才但会对最终的performance致使影响。

提

醒

科学论文URL：

科学论文作文：

Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks

。

南京治疗肛肠医院
济南割包皮哪家强
南京儿科