論文の概要: How Learning Dynamics Drive Adversarially Robust Generalization?

• arxiv url: http://arxiv.org/abs/2410.07719v2
• Date: Fri, 24 Oct 2025 07:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 11:00:52.331954
• Title: How Learning Dynamics Drive Adversarially Robust Generalization?
• Title（参考訳）: 逆向きにロバストな一般化を駆動するダイナミクスの学習
• Authors: Yuelin Xu, Xiao Zhang,
• Abstract要約: 本研究では, モデルパラメータの後方共分散と, 対向損失景観の曲率とを明示的に関連付ける新しいPAC-Bayesianフレームワークを提案する。 分析の結果,学習速度,勾配雑音,ヘッセン構造などの重要な要因が,学習中に頑健な一般化を共同で形成することが明らかとなった。
• 参考スコア（独自算出の注目度）: 3.7919737164481284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant progress in adversarially robust learning, the underlying mechanisms that govern robust generalization remain poorly understood. We propose a novel PAC-Bayesian framework that explicitly links adversarial robustness to the posterior covariance of model parameters and the curvature of the adversarial loss landscape. By characterizing discrete-time SGD dynamics near a local optimum under quadratic loss, we derive closed-form posterior covariances for both the stationary regime and the early phase of non-stationary transition. Our analyses reveal how key factors, such as learning rate, gradient noise, and Hessian structure, jointly shape robust generalization during training. Through empirical visualizations of these theoretical quantities, we fundamentally explain the phenomenon of robust overfitting and shed light on why flatness-promoting techniques like adversarial weight perturbation help to improve robustness.
• Abstract（参考訳）: 逆向きの頑健な学習の著しい進歩にもかかわらず、頑健な一般化を支配する基盤となるメカニズムはいまだに理解されていない。 本研究では, モデルパラメータの後方共分散と, 対向損失景観の曲率とを明示的に関連付ける新しいPAC-Bayesianフレームワークを提案する。 2次損失の下で局所最適近傍の離散時間SGDダイナミクスを特徴付けることにより、定常状態と非定常遷移の初期相の閉形式後続共分散を導出する。 分析の結果,学習速度,勾配雑音,ヘッセン構造などの重要な要因が,学習中に頑健な一般化を共同で形成することが明らかとなった。 これらの理論量の実証的な可視化を通じて、強靭性過剰適合現象を根本的に説明し、逆方向の重み摂動のような平坦性促進技術が強靭性向上に寄与する理由を明かした。

関連論文リスト

• Preference Learning for AI Alignment: a Causal Perspective [55.2480439325792]
  私たちはこの問題を因果パラダイムに枠組み化し、永続的な課題を特定するための因果関係の豊富なツールボックスを提供します。 因果推論の文献を継承し、信頼性の高い一般化に必要な重要な仮定を特定する。 そこで本研究では, 因果関係に基づくアプローチがモデルロバスト性をいかに改善するかを, ナイーブ報酬モデルの障害モードを例示する。
  論文  参考訳（メタデータ） (2025-06-06T10:45:42Z)
• On Weak-to-Strong Generalization and f-Divergence [23.062111583403095]
  W2SG(Weak-to-strong generalization)は、強力な事前学習モデルの能力を刺激するための有望なパラダイムとして登場した。 W2SGにおける情報理論損失関数フレームワークとして$f$-divergenceを導入する。 我々は、KL分散のような広く使われているメトリクスを一般化する$f$-divergence損失が、実際に強いモデルの一般化と耐雑音性を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2025-06-03T17:40:08Z)
• A Flat Minima Perspective on Understanding Augmentations and Model Robustness [4.297070083645049]
  モデル強化がモデル堅牢性をいかに高めるかを明らかにするため、統一的な理論フレームワークを提供する。 我々の研究は従来の研究から、我々の分析が既存の増補手法の多くを幅広く包含しているという点で分岐している。 我々は、既存の共通汚職と敵対的堅牢性ベンチマークのシミュレーションを通じて、我々の理論を裏付ける。
  論文  参考訳（メタデータ） (2025-05-30T13:40:44Z)
• Bridging Interpretability and Robustness Using LIME-Guided Model Refinement [0.0]
  LIME(Local Interpretable Model-Agnostic Explanations)は、モデルロバスト性を体系的に強化する。 複数のベンチマークデータセットに対する実証的な評価は、LIME誘導の洗練は解釈可能性を改善するだけでなく、敵の摂動に対する耐性を著しく向上し、アウト・オブ・ディストリビューションデータへの一般化を促進することを示している。
  論文  参考訳（メタデータ） (2024-12-25T17:32:45Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
  本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。 空間性と一般化の基本的なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-07-01T20:59:05Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Building Robust Ensembles via Margin Boosting [98.56381714748096]
  敵のロバスト性においては、単一のモデルは通常、全ての敵の攻撃に対して十分な力を持っていない。 我々は最大利得のアンサンブルを学習するアルゴリズムを開発した。 提案アルゴリズムは,既存のアンサンブル技術に勝るだけでなく,エンド・ツー・エンドで訓練された大規模モデルにも勝ることを示す。
  論文  参考訳（メタデータ） (2022-06-07T14:55:58Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• The curse of overparametrization in adversarial training: Precise analysis of robust generalization for random features regression [34.35440701530876]
  逆向きに訓練されたランダムな特徴モデルでは、高い過度なパラメータ化が堅牢な一般化を損なう可能性があることを示す。 提案理論は, 強靭性に対する過度パラメータ化の非自明な効果を明らかにし, 高過度パラメータ化が強靭性一般化を損なうことを示唆している。
  論文  参考訳（メタデータ） (2022-01-13T18:57:30Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Adversarially Robust Estimate and Risk Analysis in Linear Regression [17.931533943788335]
  反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。 逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。 本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-18T14:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。