論文の概要: On the Optimality of Random Features under General Conditions: Misspecified Cases and Robust Learning

• arxiv url: http://arxiv.org/abs/2610.18333v1
• Date: Tue, 13 Oct 2026 13:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:20:41.026807
• Title: On the Optimality of Random Features under General Conditions: Misspecified Cases and Robust Learning
• Title（参考訳）: 一般条件下におけるランダム特徴の最適性について:不特定事例とロバスト学習
• Abstract要約: 一般条件下でのランダムな特徴 (KRR-RF) を考慮したカーネルリッジ回帰解析を改良した。 光尾ノイズ設定では、前回の作業で使用した特徴写像の最悪の一様境界を改善する。 重み付きノイズ設定では、最近開発されたヒルベルト値のフク・ナジェフの不等式を活用し、有限の弱モーメント条件下で同じ最適結果を拡張する。
• 参考スコア（独自算出の注目度）: 7.1577508803778045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Random features provide a standard approach to scaling kernel methods to large datasets by approximating the kernel with a finite-dimensional feature map. Existing works of random feature methods primarily focus on well-specified models and light-tailed noise conditions, leaving a gap in understanding their performance under more general conditions, such as misspecified models and heavy-tailed noise. In this paper, we provide a comprehensive and improved analysis of kernel ridge regression with random features (KRR-RF) under general conditions. In the light-tailed noise setting, we improve upon the worst-case uniform bounds of the feature map used in the previous works and lead to the minimax optimal learning rates with $2r+γ>α_0$, where $(r,γ,α_0)$ denote the regularity of the target function, the effective dimension of the kernel, and the embedding index of the RKHS, respectively. In the heavy-tailed noise setting, we leverage a recently developed Hilbert-valued Fuk-Nagaev inequality and extend the same optimal results under finite weak moment conditions. The additional cost to achieve robustness is a mildly stronger explicit sample-size requirement than in the light-tailed case. For both settings, our results recover the conditions random features budgets (up to log factors) required in the previous works. In the most benign case when $α_0=γ$, KRR-RF are minimax optimal for all $r \in (0,1]$. To the best of our knowledge, this is the first work to establish optimal learning rates for KRR-RF under weak moment conditions in the misspecified setting. Numerical experiments and a real data analysis validate the derived learning rates and demonstrate their practical relevance in the presence of mis-specification and heavy-tailed noise.
• Abstract（参考訳）: ランダム機能は、カーネルを有限次元の特徴写像で近似することで、カーネルメソッドを大きなデータセットにスケーリングする標準的なアプローチを提供する。 既存のランダムな特徴法の研究は、よく特定されたモデルと軽い尾のノイズ条件に重点を置いており、不特定なモデルや重い尾のノイズなど、より一般的な条件下での性能を理解することのギャップを残している。 本稿では,一般的な条件下でのランダムな特徴 (KRR-RF) を用いたカーネルリッジ回帰の包括的で改良された解析法を提案する。 光尾ノイズ設定では、前回の作業で使用した特徴写像の最悪の一様境界を改善し、2r+γ>α_0$で極小最大学習率を導出する。 重み付きノイズ設定では、最近開発されたヒルベルト値のフク・ナジェフの不等式を活用し、有限の弱モーメント条件下で同じ最適結果を拡張する。 堅牢性を達成するための追加コストは、軽い尾のケースよりもわずかに強い明示的なサンプルサイズ要件である。 両方の設定で、我々の結果は前回の作業に必要な予算(ログファクタまで)をランダムに設定する条件を回復します。 α_0=γ$の場合には、KRR-RFはすべての$r \in (0,1]$に対して極大である。 我々の知る限り、これは不特定条件下で弱いモーメント条件下でKRR-RFの最適学習率を確立するための最初の試みである。 数値実験と実データ解析は、学習率の導出を検証し、誤特定と重み付き雑音の存在における実践的関連性を実証する。

関連論文リスト

• Optimal Recovery Meets Minimax Estimation [20.84190812813031]
  目標は、所定のノルムで$hat f$から$f$に近似する数値アルゴリズムを設計することである。 本稿では,この問題に対処し,誤差が$L_q$-normで測定された場合,Besovクラスに対するノイズレベル認識(NLA)の最小値を決定する。
  論文  参考訳（メタデータ） (2025-02-24T21:37:54Z)
• Optimal Rates for Robust Stochastic Convex Optimization [12.620782629498812]
  我々は、$epsilon$-contaminationモデルの下で、最小最適過剰リスク(対数因子まで)を達成する新しいアルゴリズムを開発した。 我々のアルゴリズムは、個々のサンプル関数のリプシッツ連続性や滑らかさを含む厳密な仮定を必要としない。 我々は、ロバストSCOのための厳密な情報理論の下限でアルゴリズム開発を補完する。
  論文  参考訳（メタデータ） (2024-12-15T00:52:08Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Optimal Rates and Saturation for Noiseless Kernel Ridge Regression [4.585021053685196]
  ノイズレスシステムにおけるカーネルリッジ回帰(KRR)の総合的研究について述べる。 KRRは有限標本から関数を学習するための基本的な方法である。 我々は、カーネルメソッドの解析に広く適用可能な、洗練された自由度の概念を導入する。
  論文  参考訳（メタデータ） (2024-02-24T04:57:59Z)
• Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples [58.68233326265417]
  非画像データは実際のアプリケーションで広く使われており、ノイズが多い傾向にある。 リスク感受性SDEは、リスクベクトルによってパラメータ化された微分方程式(SDE)の一種である。 我々はガウス雑音分布と非ガウス雑音分布の両方について系統的研究を行う。
  論文  参考訳（メタデータ） (2024-02-03T08:41:51Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。