論文の概要: Generalization and Trade-off in Adversarial Training: An RKHS Perspective via Kernel Integral Operators
- arxiv url: http://arxiv.org/abs/2607.27995v1
- Date: Thu, 30 Jul 2026 10:43:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.514987
- Title: Generalization and Trade-off in Adversarial Training: An RKHS Perspective via Kernel Integral Operators
- Title（参考訳）: 対人訓練における一般化とトレードオフ:カーネル積分演算子によるRKHSの展望
- Abstract要約: 敵の攻撃からモデルを保護するための強力なアプローチとして、敵の訓練が登場した。
本稿では,ロバストネス再現カーネルHilbert空間(RKHS)フレームワークにおける,関連するカーネル積分演算子による逆トレーニングについて検討する。
混合ロバスト性項からノイズ寄与を推定・除去する2段階のノイズ除去手法を提案する。
- 参考スコア（独自算出の注目度）: 16.801544027052138
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Adversarial training has emerged as a powerful approach for protecting models against adversarial attacks in a broad range of real-world applications. In this paper, we study adversarial training in the reproducing kernel Hilbert space (RKHS) framework through the associated kernel integral operator. We first derive source-uniform generalization error bounds for the RKHS adversarial training estimator in terms of the robustness level, sample size, source smoothness, and kernel spectrum. On a fixed polynomial-spectrum model, we further establish a matching lower bound showing that the optimally balanced generalization rate can be slower than the minimax prediction benchmark. This result reveals a loss of statistical accuracy in adversarial training. Our analysis shows that this loss arises from the interaction between adversarial robustness and observation noise: the noise contribution in the mixed robustness term slows the approximation rate, although the same term reduces the estimation complexity. To address this limitation, we propose a two-stage noise-debiased procedure that estimates and removes the noise contribution from the mixed term. The resulting estimator improves the generalization rate and attains the minimax polynomial rate, up to a logarithmic factor, when the robustness level is selected at the stated sample-dependent order. Our results characterize the generalization behavior of adversarial training in a nonparametric framework and provide a new interpretation and a principled solution for the trade-off between adversarial robustness and generalization. Numerical experiments support the theoretical findings and demonstrate the effectiveness of the proposed method.
- Abstract（参考訳）: 敵の訓練は、幅広い現実世界のアプリケーションにおいて、敵の攻撃からモデルを保護するための強力なアプローチとして現れてきた。
本稿では、カーネル積分演算子を用いて、再生カーネルヒルベルト空間(RKHS)フレームワークにおける逆トレーニングについて検討する。
まず、RKHS逆数トレーニング推定器のソース・ユニフォーム一般化誤差を、ロバストネスレベル、サンプルサイズ、ソーススムースネス、カーネルスペクトルの観点から導出する。
固定多項式スペクトルモデルでは、最適に平衡な一般化速度がミニマックス予測ベンチマークよりも遅いことを示す下界の整合性をさらに確立する。
この結果から, 対人訓練における統計的精度の低下が判明した。
混合頑健度項におけるノイズ寄与は近似速度を遅くするが,同じ用語は推定複雑性を減少させる。
この制限に対処するため,混合項から雑音の寄与を推定・除去する2段階のノイズ除去手法を提案する。
得られた推定器は、前記サンプル依存順序でロバスト性レベルが選択されたとき、一般化率を改善し、対数係数までミニマックス多項式率を達成する。
本研究は,非パラメトリックフレームワークにおける対向的トレーニングの一般化挙動を特徴付け,対向的ロバスト性と一般化のトレードオフに対する新たな解釈と原理的解決策を提供する。
数値実験は理論的な結果をサポートし,提案手法の有効性を実証する。
関連論文リスト
- Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Beyond Consistency: Inference for the Relative risk functional in Deep Nonparametric Cox Models [7.2275111013288535]
Coxをベースとした最適化誤差が、部分的可能性の下で集団リスクにどのように伝播するかは明らかでない。
また、ポイントワイドバイアスがどのように制御できるのか、またアンサンブルに基づく不確実性が現実的な分散体制の下でどのように振る舞うのかも不明である。
これらの問題に対処するディープコックス推定器の分布理論を開発する。
論文 参考訳（メタデータ） (2026-03-25T01:43:12Z) - In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning [51.56484100374058]
本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。
一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。
後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
論文 参考訳（メタデータ） (2025-10-13T03:42:31Z) - Asymptotically Optimal Linear Best Feasible Arm Identification with Fixed Budget [55.938644481736446]
本稿では,誤差確率の指数的減衰を保証し,最適な腕識別のための新しいアルゴリズムを提案する。
我々は,複雑性のレベルが異なる様々な問題インスタンスに対する包括的経験的評価を通じて,アルゴリズムの有効性を検証する。
論文 参考訳（メタデータ） (2025-06-03T02:56:26Z) - Regularization for Adversarial Robust Learning [18.46110328123008]
我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。
この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。
本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
論文 参考訳（メタデータ） (2024-08-19T03:15:41Z) - Unmasking Bias in Diffusion Model Training [40.90066994983719]
拡散モデルが画像生成の主流のアプローチとして登場した。
トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。
本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
論文 参考訳（メタデータ） (2023-10-12T16:04:41Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳（メタデータ） (2023-07-27T04:27:26Z) - On the Convergence and Robustness of Adversarial Training [134.25999006326916]
Project Gradient Decent (PGD) によるアドリアリトレーニングが最も効果的である。
生成した逆数例の収束性を向上させるためのテクトダイナミックトレーニング戦略を提案する。
その結果,提案手法の有効性が示唆された。
論文 参考訳（メタデータ） (2021-12-15T17:54:08Z) - Generalized Likelihood Ratio Test for Adversarially Robust Hypothesis
Testing [22.93223530210401]
我々は、このような敵の摂動に対する防御についての洞察を深めるために、古典的な仮説テスト問題を考える。
一般化確率比検定(GLRT)を複合仮説検定問題に適用した防衛法を提案する。
シミュレーションにより、GLRT防御は、最悪の場合の攻撃下でのミニマックスアプローチと競合する一方で、弱い攻撃下でのより正確なトレードオフをもたらすことを示す。
論文 参考訳（メタデータ） (2021-12-04T01:11:54Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳（メタデータ） (2021-10-29T13:30:42Z) - Exploring the Training Robustness of Distributional Reinforcement
Learning against Noisy State Observations [7.776010676090131]
エージェントが観察する状態の観察は、測定誤差や敵のノイズを含んでおり、エージェントが最適な行動を取るように誤解したり、訓練中に崩壊することもある。
本稿では,本研究の成果である分散強化学習(RL)のトレーニングロバスト性について検討する。
論文 参考訳（メタデータ） (2021-09-17T22:37:39Z) - Towards Optimal Problem Dependent Generalization Error Bounds in
Statistical Learning Theory [11.840747467007963]
我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。
一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。
我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
論文 参考訳（メタデータ） (2020-11-12T04:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。