論文の概要: Early Transferability of Adversarial Examples in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2206.04472v1
• Date: Thu, 9 Jun 2022 12:55:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 15:52:12.207825
• Title: Early Transferability of Adversarial Examples in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける逆例の早期転送可能性
• Authors: Oriel BenShmuel
• Abstract要約: 本稿では,これまで知られていなかった新しい現象を記述・解析し,その現象を「Early Transferability」と呼ぶ。 本質的には、訓練のごく初期の段階でも、異なるネットワーク間で敵の摂動が伝達される。 本研究の目的は, この現象を実験的に提示することであり, その特性について, 妥当な説明法を提案することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper will describe and analyze a new phenomenon that was not known before, which we call "Early Transferability". Its essence is that the adversarial perturbations transfer among different networks even at extremely early stages in their training. In fact, one can initialize two networks with two different independent choices of random weights and measure the angle between their adversarial perturbations after each step of the training. What we discovered was that these two adversarial directions started to align with each other already after the first few training steps (which typically use only a small fraction of the available training data), even though the accuracy of the two networks hadn't started to improve from their initial bad values due to the early stage of the training. The purpose of this paper is to present this phenomenon experimentally and propose plausible explanations for some of its properties.
• Abstract（参考訳）: 本稿では、これまで知られていなかった新しい現象を「Early Transferability」と呼び、分析する。 本質的には、訓練のごく初期の段階でも、異なるネットワーク間で敵の摂動が伝達される。 実際、ランダムウェイトを2つの異なる独立に選択した2つのネットワークを初期化して、トレーニングの各ステップの後に対向的摂動の角度を測定することができる。 私たちが発見したのは、これらの2つの逆方向が、最初の数ステップ(通常は利用可能なトレーニングデータのごく一部しか使用していない)の後に、互いに整合し始めていたことです。 本論文の目的は,この現象を実験的に提示し,その性質のいくつかについて妥当な説明を提案することである。

関連論文リスト

• Simplicity Bias of Two-Layer Networks beyond Linearly Separable Data [4.14360329494344]
  重みが小さい2層ニューラルネットワークの文脈における一般データセットの単純さバイアスを特徴付け、勾配流を訓練する。 XORのようなパターンを持つデータセットに対しては、学習した特徴を正確に識別し、後続のトレーニング段階で単純さのバイアスが強まることを示す。 これらの結果から,訓練中期に学習した特徴がOOD伝達に有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-27T16:00:45Z)
• Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking [81.57031092474625]
  Powerらによる最近の研究は、算術のタスクを学習する際の驚くべき"グロキング"現象を強調した。 ニューラルネットワークはまずトレーニングセットを“記憶”し、完全なトレーニング精度を持つが、ほぼランダムなテスト精度を実現する。 本論文は, 理論設定におけるグルーキング現象を考察し, 初期および後期の暗黙バイアスの2分法により誘導可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-30T18:55:38Z)
• Outliers with Opposing Signals Have an Outsized Effect on Neural Network Optimization [36.72245290832128]
  自然データにおける深度とヘビーテール構造との相互作用から生じるニューラルネットワーク最適化の新たな現象を同定する。 特に、プログレッシブ・シャープニングと安定性の端について、概念的に新しい原因を示唆している。 強い反対信号を持つトレーニングデータにおいて,2組のオフレーヤ群が有意な影響を示した。
  論文  参考訳（メタデータ） (2023-11-07T17:43:50Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• On the (Non-)Robustness of Two-Layer Neural Networks in Different Learning Regimes [27.156666384752548]
  ニューラルネットワークは敵の例に非常に敏感である。 異なるシナリオにおける堅牢性と一般化について研究する。 線形化された遅延学習体制がいかに堅牢性を悪化させるかを示す。
  論文  参考訳（メタデータ） (2022-03-22T16:40:52Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• The Early Phase of Neural Network Training [36.99654568587426]
  近年の研究では、ニューラルネットワーク学習の重要な側面が、トレーニングのごく初期のイテレーションまたはエポックで起こっていることが示されている。 ここでは、このトレーニングの初期段階において、ディープニューラルネットワークが実施する変化について検討する。 このフレームワークでは、数百回反復しても重み分布が非独立であることの兆候を維持しながら、無作為な重みで再起動するには、ディープネットワークが堅牢でないことが分かる。
  論文  参考訳（メタデータ） (2020-02-24T16:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。