Fugu-MT 論文翻訳(概要): SORA: Free Second-Order Attacks in Fast Adversarial Training

論文の概要: SORA: Free Second-Order Attacks in Fast Adversarial Training

arxiv url: http://arxiv.org/abs/2606.00738v1
Date: Sat, 30 May 2026 14:10:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:28.681727
Title: SORA: Free Second-Order Attacks in Fast Adversarial Training
Title（参考訳）: SORA: 高速対人訓練で2段階の無料攻撃
Abstract要約: 対人訓練(Adrial Training、AT)は、敵の事例に対する主要な防御である。 ATは、効率的な単一ステップの変種において、しばしばカタストロフィックオーバーフィッティング(CO)に悩まされる。我々は、損失表面形状に基づいて動的に摂動を調整する適応的なステップサイズAT法であるSORAを紹介する。
参考スコア（独自算出の注目度）: 7.406456494696015
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adversarial Training (AT) is a leading defense against adversarial examples but often suffers from Catastrophic Overfitting (CO) in efficient single-step variants, where robustness to multi-step attacks collapses despite high single-step performance. We address this failure mode with two contributions. First, we formalize Epsilon Overfitting (EO), a perspective in which fixed perturbation magnitudes and directions exacerbate CO, and show that introducing perturbation variability significantly improves robust generalization across different architectures and datasets. Second, we propose PertAlign (Perturbation Alignment), a theoretically grounded, computationally negligible metric that predicts CO onset by measuring gradient alignment across attack stages. Leveraging these insights, we introduce SORA, an adaptive step-size AT method that dynamically adjusts perturbations based on loss surface geometry. SORA consistently prevents CO, achieves state-of-the-art robustness and clean accuracy, and generalizes across datasets and architectures using a single fixed set of hyperparameters, which is essential for applicability in fast AT. Extensive experiments on diverse datasets and architectures show that SORA matches or surpasses the robustness of prior methods while delivering higher clean accuracy and superior efficiency. Code is available at https://github.com/SecondOrderAT/SORA.
Abstract（参考訳）: 敵の訓練(AT)は敵の例に対する先導的な防御であるが、高い単一段階のパフォーマンスにもかかわらず多段階攻撃に対する堅牢性が崩壊する効率的な単一段階変種において、しばしばカタストロフィックオーバーフィッティング(CO)に苦しむ。この障害モードに2つのコントリビューションで対処します。まずEpsilon Overfitting (EO) を定式化し、一定の摂動規模と方向がCOを悪化させる視点を示し、摂動変動を導入することにより、異なるアーキテクチャやデータセット間の堅牢な一般化が著しく向上することを示す。第2にPertAlign(Perturbation Alignment)を提案する。これは理論的に基礎を置き、計算的に無視可能な計量であり、攻撃段階間の勾配アライメントを測定することでCOのオンセットを予測する。これらの知見を生かして、損失表面形状に基づいて摂動を動的に調整する適応的なステップサイズAT法であるSORAを導入する。 SORAはCOを一貫して防止し、最先端の堅牢性とクリーンな精度を実現し、データセットとアーキテクチャを1つの固定されたハイパーパラメータセットで一般化する。多様なデータセットとアーキテクチャに関する大規模な実験により、SORAはよりクリーンな精度と優れた効率を提供すると同時に、以前の手法の堅牢性にマッチまたは超越していることが示された。コードはhttps://github.com/SecondOrderAT/SORAで公開されている。

関連論文リスト

From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons [74.25767873168745]
拡散モデルは効率的な並列テキスト生成を約束するが、双方向の注意に依存し、事前訓練された自己回帰(AR)モデルによる構造的ミスマッチを生成する。本稿では,ARバックボーンを拡散パラダイムに効率的に適応するフレームワークであるFLUIDを提案する。実験により、FLUIDは訓練コストを桁違いに削減しつつ、最先端の性能を達成することが示された。
論文参考訳（メタデータ） (2026-04-11T13:18:27Z)
Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。 FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
論文参考訳（メタデータ） (2026-03-30T11:37:46Z)
OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
論文参考訳（メタデータ） (2026-02-11T09:41:36Z)
Refining Decision Boundaries In Anomaly Detection Using Similarity Search Within the Feature Space [3.3202103799131795]
SDA2E(Sparse Dual Adversarial Attention-based AutoEncoder)を導入する。本稿では,意思決定境界を効率的に洗練するための3つの新しい戦略を統合した類似性誘導型アクティブラーニングフレームワークを提案する。 SDA2Eは、複数のDARPAトランスペアレントコンピューティングシナリオを含む52の不均衡データセットにわたって広範囲に評価し、15の最先端の異常検出手法と比較した。
論文参考訳（メタデータ） (2026-02-02T23:55:08Z)
Bridging Symmetry and Robustness: On the Role of Equivariance in Enhancing Adversarial Robustness [9.013874391203453]
敵対的な例では、知覚不能な入力摂動に対する感度を利用して、ディープニューラルネットワークの重大な脆弱性を明らかにしている。本研究では,群-同変畳み込みを組込み,対向ロバスト性に対するアーキテクチャ的アプローチについて検討する。これらの層は、モデル行動と入力空間の構造化変換を整合させる対称性の先行を符号化し、よりスムーズな決定境界を促進する。
論文参考訳（メタデータ） (2025-10-17T19:26:58Z)
PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。拡張一般化のための勾配を暗黙的に正規化するが、知識を保持するために微調整されたモデルや事前訓練されたモデルも暗黙的に整列する。また、テキスト分類(GLUE)や数学的推論においてLoRAを改善している。
論文参考訳（メタデータ） (2024-09-25T17:56:00Z)
Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
論文参考訳（メタデータ） (2024-01-21T22:55:26Z)
Catastrophic overfitting can be induced with discriminative non-robust features [95.07189577345059]
自然画像の典型的データセットの制御による一段階AT法におけるCOの開始について検討した。本研究は, 一見無害な画像の注入により, 従来よりはるかに小さいエプシロン$値でCOを誘導できることを示唆する。
論文参考訳（メタデータ） (2022-06-16T15:22:39Z)
Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
トレーニングインスタンスの観点から,この現象を考察する。適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
論文参考訳（メタデータ） (2022-06-06T08:20:07Z)
Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文参考訳（メタデータ） (2021-05-31T17:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。