論文の概要: Mitigating Error Amplification in Fast Adversarial Training

• arxiv url: http://arxiv.org/abs/2604.24332v1
• Date: Mon, 27 Apr 2026 11:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.920161
• Title: Mitigating Error Amplification in Fast Adversarial Training
• Title（参考訳）: 高速対人訓練における誤り増幅の軽減
• Authors: Mengnan Zhao, Lihe Zhang, Bo Wang, Tianhang Zheng, Hong Zhong, Geyong Min,
• Abstract要約: FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。 本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
• 参考スコア（独自算出の注目度）: 58.74042726356826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast Adversarial Training (FAT) has proven effective in enhancing model robustness by encouraging networks to learn perturbation-invariant representations. However, FAT often suffers from catastrophic overfitting (CO), where the model overfits to the training attack and fails to generalize to unseen ones. Moreover, robustness oriented optimization typically leads to notable performance degradation on clean inputs, and such degradation becomes increasingly severe as the perturbation budget grows. In this work, we conduct a comprehensive analysis of how guidance strength affects model performance by modulating perturbation and supervision levels across distinct confidence groups. The findings reveal that low confidence samples are the primary contributors to CO and the robustness accuracy trade off. Building on this insight, we propose a Distribution-aware Dynamic Guidance (DDG) strategy that dynamically adjusts both the perturbation budget and supervision signal. Specifically, DDG scales the perturbation magnitude according to the sample confidence at the ground truth class, thereby guiding samples toward consistent decision boundaries while mitigating the influence of learning spurious correlations. Simultaneously, it dynamically adjusts the supervision signal based on the prediction state of each sample, preventing overemphasis on incorrect signals. To alleviate potential gradient instability arising from dynamic guidance, we further design a weighted regularization constraint. Extensive experiments on standard benchmarks demonstrate that DDG effectively alleviates both CO and the robustness accuracy trade off.
• Abstract（参考訳）: FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 しかし、FATはしばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルはトレーニング攻撃に過度に適合し、目に見えないものへの一般化に失敗する。 さらに、ロバスト性指向の最適化は、典型的にはクリーン入力における顕著な性能劣化を招き、摂動予算が増加するにつれて、その劣化はますます深刻化する。 本研究では,異なる信頼グループ間で摂動と監督レベルを調整することによって,指導力がモデル性能に与える影響を包括的に分析する。 その結果, 信頼性の低い試料がCOの主要な寄与要因であり, 堅牢性はトレードオフしていることがわかった。 この知見に基づいて,摂動予算と監視信号の両方を動的に調整する分散対応動的誘導(DDG)戦略を提案する。 具体的には、DDGは、基底真理クラスにおけるサンプル信頼度に応じて摂動の規模を拡大し、学習の急激な相関の影響を緩和しつつ、サンプルを一貫した決定境界へ導く。 同時に、各サンプルの予測状態に基づいて監督信号を動的に調整し、誤った信号に対する過度の強調を防止する。 動的ガイダンスから生じる潜在的な勾配不安定性を軽減するため、重み付き正規化制約をさらに設計する。 標準ベンチマークでの大規模な実験により、DDGはCOとロバストネスの精度のトレードオフを効果的に緩和することが示された。

関連論文リスト

• SPREG: Structured Plan Repair with Entropy-Guided Test-Time Intervention for Large Language Model Reasoning [23.62252234067012]
  大きな言語モデル(LLM)は、長い鎖の推論の間、論理的な幻覚やドリフトを起こす傾向がある。 本稿では,SPREG(Structured Plan-Guided Real-time Entropy Gating)を提案する。 実験の結果,AIME25の絶対精度は20.0%向上した。
  論文  参考訳（メタデータ） (2026-04-20T06:55:26Z)
• ThreatFormer-IDS: Robust Transformer Intrusion Detection with Zero-Day Generalization and Explainable Attribution [0.0]
  IoTおよび産業ネットワークの侵入検出には、進化するトラフィックと限定されたラベルの下で信頼性を維持しながら、低い偽陽性率で稀な攻撃を検出できるモデルが必要である。 本研究では,トランスフォーマーをベースとしたシーケンシャルモデリングフレームワークThreatFormer-IDSを提案する。 時系列評価を備えたToN IoTベンチマークでは、ThreatFormer-IDSがAUCROC 0.994、AUC-PR 0.956、Recall@1%FPR 0.910を達成した。
  論文  参考訳（メタデータ） (2026-02-26T23:20:42Z)
• Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives [22.29000001610794]
  Supervised Fine-Tuning (SFT) の標準的な負の対数構造は、均一なトークンレベルの重み付けを適用する。 この剛性は2重の障害モードを生成する: (i)低確率目標を過度に強調することは、ノイズの監督の勾配を増幅し、頑健な事前を妨害し、 (ii)一様重み付けは、モデルが既に自信を持っているときに弱いシャープニングを与える。 既存の方法は可塑性の解決に失敗し、不安定なジレンマがしばしば有害なジレンマとともに必要な学習信号を抑圧する。 パラメータ自由度を変調する動的エントロピーファインチューニング(DEFT)を導入する。
  論文  参考訳（メタデータ） (2026-02-11T22:56:43Z)
• SG-OIF: A Stability-Guided Online Influence Framework for Reliable Vision Data [6.4391040754741296]
  本稿では,テスト予測に対するトレーニングポイントの影響を近似するための安定誘導オンライン影響フレームワーク(SG-OIF)を提案する。 CIFAR-10の上位1%の予測サンプルでは,SG-OIFが91.1%,MNISTの99.8%のAUPRスコアが得られた。
  論文  参考訳（メタデータ） (2025-11-21T19:58:54Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Towards Unraveling and Improving Generalization in World Models [29.54936027897926]
  この研究は、世界モデルの堅牢性と一般化能力を深く理解することを目的としている。 遅延表現誤差がロバスト性および一般化に与える影響を特徴付ける。 非ゼロドリフトの複合的誤り伝播効果を軽減するためのヤコビ正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-31T00:15:43Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。