論文の概要: Adversarial Training from Mean Field Perspective

• arxiv url: http://arxiv.org/abs/2505.14021v1
• Date: Tue, 20 May 2025 07:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.853258
• Title: Adversarial Training from Mean Field Perspective
• Title（参考訳）: 平均的視野から見た対人訓練
• Authors: Soichiro Kumano, Hiroshi Kera, Toshihiko Yamasaki,
• Abstract要約: 本稿では,データ分布の仮定を伴わずに,ランダムな深層ニューラルネットワークにおける敵の訓練に関する最初の理論的解析を行う。 我々は、$ell_q$ノルムベースの逆数損失と$ell_p$ノルムベースの逆数損失の(実際にきつく)上限を導出する。 ショートカットのないネットワークは一般的に逆トレーニングができず、逆トレーニングによってネットワークの容量が減少することを証明する。
• 参考スコア（独自算出の注目度）: 27.368408524000778
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although adversarial training is known to be effective against adversarial examples, training dynamics are not well understood. In this study, we present the first theoretical analysis of adversarial training in random deep neural networks without any assumptions on data distributions. We introduce a new theoretical framework based on mean field theory, which addresses the limitations of existing mean field-based approaches. Based on this framework, we derive (empirically tight) upper bounds of $\ell_q$ norm-based adversarial loss with $\ell_p$ norm-based adversarial examples for various values of $p$ and $q$. Moreover, we prove that networks without shortcuts are generally not adversarially trainable and that adversarial training reduces network capacity. We also show that network width alleviates these issues. Furthermore, we present the various impacts of the input and output dimensions on the upper bounds and time evolution of the weight variance.
• Abstract（参考訳）: 対人訓練は敵の例に対して有効であることが知られているが、トレーニング力学はよく理解されていない。 本研究では,データ分布の仮定を伴わずに,ランダムな深層ニューラルネットワークにおける敵の訓練に関する最初の理論的解析を行った。 本稿では,既存の平均場に基づくアプローチの限界に対処する平均場理論に基づく新しい理論フレームワークを提案する。 この枠組みに基づいて、$\ell_q$ と $q$ の様々な値に対する $\ell_p$ と $\ell_p$ の(実際に厳密な)上界を導出する。 さらに,ショートカットのないネットワークは概して逆トレーニング可能ではなく,逆トレーニングによってネットワーク能力が低下することが証明された。 また、ネットワーク幅がこれらの問題を軽減することも示している。 さらに, 入力次元と出力次元の様々な影響が, 重み分散の上限値と時間変化に与える影響について述べる。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Generalization Bounds for Adversarial Contrastive Learning [10.893632710192016]
  我々は、ACLの一般化性能を解析するために、Radecher複雑性を用いる。 本理論は, 下流タスクの対向リスクの平均値は, 上流タスクの対向的無監督リスクによって上限付けられることを示す。
  論文  参考訳（メタデータ） (2023-02-21T12:44:59Z)
• Chaos Theory and Adversarial Robustness [0.0]
  本稿では、カオス理論の考え方を用いて、ニューラルネットワークが敵対的攻撃に対してどのような影響を受けやすいか、あるいは堅牢であるかを説明し、分析し、定量化する。 我々は、与えられた入力に対する摂動によってモデルの出力がどれほど大きく変化するかをキャプチャする、$hat Psi(h,theta)$によって与えられる新しい計量である「感受性比」を示す。
  論文  参考訳（メタデータ） (2022-10-20T03:39:44Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Adversarial Robustness Guarantees for Random Deep Neural Networks [15.68430580530443]
  逆の例は、正しく分類された入力に非常に近い誤った分類された入力です。 任意の$pge1$に対して、分類境界からの任意の入力の$ellp$距離は、入力の$ellp$ノルムの入力時間の次元の平方根の1つとしてスケールする。 この結果は、敵の例を理論的に理解する上での基本的な進歩であり、ネットワークアーキテクチャと敵の摂動に対する頑健性との関係を理論的に解明する道を開くものである。
  論文  参考訳（メタデータ） (2020-04-13T13:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。