論文の概要: Kernel Learning with Adversarial Features: Numerical Efficiency and Adaptive Regularization
- arxiv url: http://arxiv.org/abs/2510.20883v1
- Date: Thu, 23 Oct 2025 17:34:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 09:00:15.284178
- Title: Kernel Learning with Adversarial Features: Numerical Efficiency and Adaptive Regularization
- Title（参考訳）: 敵対的特徴を持つカーネル学習:数値的効率性と適応正規化
- Authors: Antônio H. Ribeiro, David Vävinggren, Dave Zachariah, Thomas B. Schön, Francis Bach,
- Abstract要約: 対向学習は、対向入力摂動に対するモデルロバスト性を高める重要な手法として登場した。
本稿では,Hilbert空間を再現するカーネルにおいて,入力から特徴空間の摂動へ移行した対角的トレーニングの新たな定式化を提案する。
この再構成により、内的かつ効率的な最適化の正確な解が得られる。
- 参考スコア（独自算出の注目度）: 16.808264922485247
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial training has emerged as a key technique to enhance model robustness against adversarial input perturbations. Many of the existing methods rely on computationally expensive min-max problems that limit their application in practice. We propose a novel formulation of adversarial training in reproducing kernel Hilbert spaces, shifting from input to feature-space perturbations. This reformulation enables the exact solution of inner maximization and efficient optimization. It also provides a regularized estimator that naturally adapts to the noise level and the smoothness of the underlying function. We establish conditions under which the feature-perturbed formulation is a relaxation of the original problem and propose an efficient optimization algorithm based on iterative kernel ridge regression. We provide generalization bounds that help to understand the properties of the method. We also extend the formulation to multiple kernel learning. Empirical evaluation shows good performance in both clean and adversarial settings.
- Abstract（参考訳）: 対向学習は、対向入力摂動に対するモデルロバスト性を高める重要な手法として登場した。
既存の手法の多くは計算コストのかかるmin-max問題に依存しており、実際には適用を制限している。
本稿では,カーネルHilbert空間の再生において,入力から特徴空間の摂動へ移行した対角的トレーニングの新たな定式化を提案する。
この再構成により、内部最大化の正確な解と効率的な最適化が可能になる。
また、ノイズレベルと基礎関数の滑らかさに自然に適応する正規化推定器も提供する。
特徴摂動の定式化が元の問題を緩和する条件を確立し、反復的なカーネルリッジ回帰に基づく効率的な最適化アルゴリズムを提案する。
手法の特性を理解するのに役立つ一般化境界を提供する。
また、複数のカーネル学習に定式化を拡張します。
経験的評価は、クリーンな設定と敵対的な設定の両方で良いパフォーマンスを示す。
関連論文リスト
- Learning to optimize with guarantees: a complete characterization of linearly convergent algorithms [1.4747234049753448]
高度な工学的応用では、最適化アルゴリズムは数学的に定義された問題のクラスよりも証明可能な証明可能なケースを保証する必要がある。
非滑らかな合成最適化問題のクラスに対して線形収束を実現するアルゴリズムのクラスを記述する。
論文 参考訳（メタデータ） (2025-08-01T16:56:42Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳（メタデータ） (2024-06-28T02:56:22Z) - Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization [8.879403568685499]
パラメータの平滑化に適応的な更新戦略を導入する。
この振る舞いは、アルゴリズムを数回繰り返した後に、効果的に問題を解決するものに変えます。
すべてのイテレーションが重要なものであることを保証し、グローバルに提案された実験を証明します。
論文 参考訳（メタデータ） (2024-06-22T02:37:13Z) - Operator SVD with Neural Networks via Nested Low-Rank Approximation [19.562492156734653]
本稿では, トラッピング特異値分解の低ランク近似に基づく新しい最適化フレームワークを提案する。
最上位の$L$特異値と特異関数を正しい順序で学習するためのエンフェンシングと呼ばれる新しい手法。
本稿では,計算物理学と機械学習のユースケースに対する提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-02-06T03:06:06Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。