論文の概要: Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks

• arxiv url: http://arxiv.org/abs/2110.14068v1
• Date: Tue, 26 Oct 2021 22:52:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 14:48:25.381312
• Title: Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks
• Title（参考訳）: ロバストなスクラッチチケットの描画:生まれながらのロバスト性を持つサブネットワークはランダムに初期化されたネットワークで見つかる
• Authors: Yonggan Fu, Qixuan Yu, Yang Zhang, Shang Wu, Xu Ouyang, David Cox, Yingyan Lin
• Abstract要約: 一般的な宝くじ券の仮説とは別として、元の密集ネットワークや特定されたRTTをトレーニングする必要はない。 同一の高密度ネットワークから引き出された疎度比の異なるRTT間の逆転送性について検討した。 本稿では,Random RST Switch (R2S) 技術を提案する。
• 参考スコア（独自算出の注目度）: 13.863895853997091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) are known to be vulnerable to adversarial attacks, i.e., an imperceptible perturbation to the input can mislead DNNs trained on clean images into making erroneous predictions. To tackle this, adversarial training is currently the most effective defense method, by augmenting the training set with adversarial samples generated on the fly. Interestingly, we discover for the first time that there exist subnetworks with inborn robustness, matching or surpassing the robust accuracy of the adversarially trained networks with comparable model sizes, within randomly initialized networks without any model training, indicating that adversarial training on model weights is not indispensable towards adversarial robustness. We name such subnetworks Robust Scratch Tickets (RSTs), which are also by nature efficient. Distinct from the popular lottery ticket hypothesis, neither the original dense networks nor the identified RSTs need to be trained. To validate and understand this fascinating finding, we further conduct extensive experiments to study the existence and properties of RSTs under different models, datasets, sparsity patterns, and attacks, drawing insights regarding the relationship between DNNs' robustness and their initialization/overparameterization. Furthermore, we identify the poor adversarial transferability between RSTs of different sparsity ratios drawn from the same randomly initialized dense network, and propose a Random RST Switch (R2S) technique, which randomly switches between different RSTs, as a novel defense method built on top of RSTs. We believe our findings about RSTs have opened up a new perspective to study model robustness and extend the lottery ticket hypothesis.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)は、敵の攻撃に対して脆弱であることが知られており、入力に対する不可避な摂動は、クリーンな画像に訓練されたdnnを誤解させ、誤った予測を行う。 これを解決するために、現在最も効果的な防御方法として、ハエで発生した敵のサンプルでトレーニングセットを増強している。 興味深いことに、モデルトレーニングなしでランダムに初期化されたネットワーク内に、モデルサイズに匹敵する敵のトレーニングされたネットワークの頑健な精度を一致または超える、生まれつきのロバスト性を持つサブネットワークが存在することが初めて明らかになった。 我々はそのようなサブネットワークであるRobust Scratch Tickets (RSTs) を自然に効率よく命名する。 一般的な宝くじ券の仮説とは別として、元の密集ネットワークや特定されたRTTをトレーニングする必要はない。 この興味深い発見を検証し理解するために、我々はさらに、異なるモデル、データセット、スパーシティパターン、およびアタックにおけるrstの存在と特性を研究するための広範囲な実験を行い、dnnの堅牢性と初期化/過パラメータ化の関係についての洞察を引き出す。 さらに、同一の初期化高密度ネットワークから引き出された疎度比の異なるRTT間の不適切な逆転送性を同定し、R2S(Random RST Switch)技術を提案し、R2S上に構築された新しい防御手法として、異なるRTT間のランダムに切り替える。 RSTに関する我々の発見は、モデルロバスト性を研究し、宝くじの仮説を拡張する新しい視点を開いたと信じている。

関連論文リスト

• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Bayesian Learning with Information Gain Provably Bounds Risk for a Robust Adversarial Defense [27.545466364906773]
  敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。 本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
  論文  参考訳（メタデータ） (2022-12-05T03:26:08Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• NetSentry: A Deep Learning Approach to Detecting Incipient Large-scale Network Attacks [9.194664029847019]
  ネットワーク侵入検出(NID)における機械学習の原理的利用法を示す。 我々は、Bi-ALSTMをベースとした、おそらく最初のNIDSであるNetSentryを提案する。 XSSやWeb bruteforceなどの攻撃検出率を最大3倍に向上させるとともに、最先端技術よりもF1スコアが33%以上上昇することが実証された。
  論文  参考訳（メタデータ） (2022-02-20T17:41:02Z)
• Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
  ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。 ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。 本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
  論文  参考訳（メタデータ） (2022-02-03T00:05:08Z)
• Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
  対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。 本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2020-08-18T10:23:57Z)
• REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions [6.0162772063289784]
  敵の訓練やランダムな入力変換を採用する防衛戦略は、合理的なパフォーマンスを達成するために、モデルの再訓練や微調整を必要とするのが普通である。 中間層の神経応答を統計的に特徴付けることにより, 生成型分類器を学習し, トレーニングサンプルをクリーンにすることができる。 提案手法は, クリーントレーニングデータのサブセットと事前学習モデルを用いており, ネットワークアーキテクチャや敵攻撃生成手法に非依存である。
  論文  参考訳（メタデータ） (2020-06-18T17:07:19Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。