論文の概要: Robust Alignment: Harmonizing Clean Accuracy and Adversarial Robustness in Adversarial Training
- arxiv url: http://arxiv.org/abs/2604.26496v1
- Date: Wed, 29 Apr 2026 09:59:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.345843
- Title: Robust Alignment: Harmonizing Clean Accuracy and Adversarial Robustness in Adversarial Training
- Title(参考訳): ロバストアライメント: 対人訓練におけるクリーンな正確さと対人ロバストさを調和させる
- Authors: Yanyun Wang, Qingqing Ye, Li Liu, Zi Liang, Haibo Hu,
- Abstract要約: Adversarial Training (AT)は、堅牢なディープニューラルネットワーク(DNN)を開発する上で最も効果的な方法の1つである。
我々は,ATにおける決定境界近傍のトレーニングサンプルに対するVarying入力摂動強度が,モデルロバスト性に最小限の影響を及ぼすことを示す。
本稿では,ロバストアライメント・アライメント・アディショナル・トレーニング(RAAT)法を提案する。
- 参考スコア(独自算出の注目度): 16.873607054158793
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial Training (AT) is one of the most effective methods for developing robust deep neural networks (DNNs). However, AT faces a trade-off problem between clean accuracy and adversarial robustness. In this work, we reveal a surprising phenomenon for the first time: Varying input perturbation intensities for training samples near decision boundaries in AT have minimal impact on model robustness. This finding directly exposes the inconsistency between accuracy and robustness score fluctuations, leading us to identify the misalignment between input and latent spaces as a critical driver of the robustness-accuracy trade-off. To mitigate this misalignment for harmonizing accuracy and robustness, we define Robust Alignment as a new AT target, encouraging the model perception to change with input perturbations provided the final label prediction remains unchanged, which can be achieved via two novel ideas. First, we suggest a reduced and fixed perturbation intensity for those boundary samples, which facilitates the model to utilize the perturbations as learnable patterns, instead of noises that complicate decision boundaries meaninglessly. Second, we propose a Domain Interpolation Consistency Adversarial Regularization (DICAR), based on rigorous theoretical derivations, which explicitly introduces semantic alignment between input and latent spaces into AT. Based on these two ideas, we end up with a new Robust Alignment Adversarial Training (RAAT) method, effectively harmonizing accuracy and robustness. Extensive experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet with ResNet-18, PreActResNet-18, and WideResNet-28-10 demonstrate the effectiveness of RAAT in improving the trade-off beyond four common baselines and a total of 14 related state-of-the-art (SOTA) works.
- Abstract(参考訳): Adversarial Training (AT)は、堅牢なディープニューラルネットワーク(DNN)を開発する上で最も効果的な方法の1つである。
しかし、ATはクリーンな精度と敵の堅牢性との間にトレードオフ問題に直面している。
本研究では,ATにおける決定境界近傍のトレーニングサンプルに対する入力摂動強度の変動が,モデルロバスト性に与える影響を最小限に抑えることを明らかにする。
この発見は、精度とロバストネススコアの変動の不整合を直接露呈し、入力空間と潜在空間との間の不整合をロバストネス-精度トレードオフの重要な要因として特定する。
精度とロバストさの調和を図るために、ロバストアライメントを新しいATターゲットとして定義し、最終的なラベル予測が変化しない場合の入力摂動によるモデル知覚を奨励し、2つの新しいアイデアによって達成できる。
まず、これらの境界サンプルに対して、決定境界を無意味に複雑にするノイズの代わりに、モデルが摂動を学習可能なパターンとして活用することを容易にする、小さく固定された摂動強度を提案する。
第二に、厳密な理論的導出に基づくドメイン補間整合性正規化(DICAR)を提案し、入力空間と潜時空間とのセマンティックアライメントをATに明示的に導入する。
これら2つのアイデアに基づいて,ロバストアライメント・アライメント・アディショナル・トレーニング(RAAT)法を考案し,精度とロバスト性を効果的に調和させる。
CIFAR-10, CIFAR-100, Tiny-ImageNet with ResNet-18, PreActResNet-18, WideResNet-28-10の大規模な実験は、RAATが4つの共通ベースラインと14の関連技術(SOTA)のトレードオフを改善する効果を実証している。
関連論文リスト
- Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。
FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。
本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
論文 参考訳(メタデータ) (2026-04-27T11:23:18Z) - The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models [33.10473765967503]
一般化保存法はID/OOD性能を維持するが、敵攻撃に弱いモデルを残す。
我々の重要な洞察は、ロバスト性トレードオフは、パラメータ空間における鋭く異方性のある最小値と、摂動下で変形する不安定な特徴表現の2つの幾何学的失敗に由来するということである。
本稿では,パラメータ空間の曲率と特徴空間の不変性を協調的に正規化する,統一的な微調整フレームワークGRACEを提案する。
論文 参考訳(メタデータ) (2026-03-28T05:22:00Z) - Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts [80.32933059529135]
TTA(Test-Time Adaptation)メソッドが出現し、推論中にターゲット分布に適応する。
我々は、堅牢なM3ODの両不確実性を共同で最小化するために設計された、最初のTTAフレームワークであるDual Uncertainity Optimization (DUO)を提案する。
並列に,明瞭な意味的手がかりを持つ領域における幾何学的コヒーレンスを保存する意味認識型正規場制約を設計する。
論文 参考訳(メタデータ) (2025-08-28T07:09:21Z) - Failure Cases Are Better Learned But Boundary Says Sorry: Facilitating Smooth Perception Change for Accuracy-Robustness Trade-Off in Adversarial Training [6.312209034178382]
Adversarial Training(AT)は、堅牢なDeep Neural Networks(DNN)をトレーニングする最も効果的な方法の1つである。
ATは、クリーンな正確さと敵の堅牢性の間に固有のトレードオフを生み出します。
本稿では,ロバスト・パーセプション・アダクティブ・トレーニング(RPAT)法を提案する。
論文 参考訳(メタデータ) (2025-08-04T08:31:45Z) - New Paradigm of Adversarial Training: Releasing Accuracy-Robustness Trade-Off via Dummy Class [10.937432407005124]
ディープニューラルネットワーク(DNN)のロバスト性を高めるための最も効果的な方法の1つとして、AT(Adversarial Training)がある。
既存のAT方式は、本質的に精度の損なうトレードオフに悩まされている。
そこで本研究では,各オリジナルクラスに対してダミークラスを追加することで,新たなATパラダイムを提案する。
論文 参考訳(メタデータ) (2024-10-16T15:36:10Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳(メタデータ) (2023-11-03T05:41:25Z) - Frequency Regularization for Improving Adversarial Robustness [8.912245110734334]
対人訓練(AT)は効果的な防御方法であることが証明されている。
スペクトル領域の出力差を調整するために周波数正則化(FR)を提案する。
本手法は,PGD-20,C&W,オートアタックによる攻撃に対する強靭性を実現する。
論文 参考訳(メタデータ) (2022-12-24T13:14:45Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳(メタデータ) (2022-02-21T10:36:09Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳(メタデータ) (2020-12-10T23:28:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。