論文の概要: Regularized least squares learning with heavy-tailed noise is minimax optimal

• arxiv url: http://arxiv.org/abs/2505.14214v1
• Date: Tue, 20 May 2025 11:17:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.088458
• Title: Regularized least squares learning with heavy-tailed noise is minimax optimal
• Title（参考訳）: 重み付き雑音による正規化最小二乗学習は最小限である
• Authors: Mattes Mollenhauer, Nicole Mücke, Dimitri Meunier, Arthur Gretton,
• Abstract要約: 本稿では,高次モーメントの再生回数が有限である雑音の存在下で,カーネルヒルベルト空間におけるリッジ回帰の性能について検討する。 我々は、よく知られた積分作用素の枠組みに基づいて、部分ガウス項と余剰項からなるリスク境界を確立する。
• 参考スコア（独自算出の注目度）: 23.16162334363017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper examines the performance of ridge regression in reproducing kernel Hilbert spaces in the presence of noise that exhibits a finite number of higher moments. We establish excess risk bounds consisting of subgaussian and polynomial terms based on the well known integral operator framework. The dominant subgaussian component allows to achieve convergence rates that have previously only been derived under subexponential noise - a prevalent assumption in related work from the last two decades. These rates are optimal under standard eigenvalue decay conditions, demonstrating the asymptotic robustness of regularized least squares against heavy-tailed noise. Our derivations are based on a Fuk-Nagaev inequality for Hilbert-space valued random variables.
• Abstract（参考訳）: 本稿では, 有限個の高次モーメントを示す雑音の存在下で, 再生カーネルヒルベルト空間におけるリッジ回帰の性能について検討する。 我々は、よく知られた積分作用素の枠組みに基づいて、部分ガウス項と多項式項からなる余剰リスク境界を確立する。 支配的な部分ガウス成分は、過去20年間の関連する研究でよく見られる仮定である部分指数雑音の下でのみ導出された収束率を達成することができる。 これらの速度は標準固有値崩壊条件下で最適であり、重尾雑音に対して正則化された最小二乗の漸近的堅牢性を示す。 我々の導出はヒルベルト空間の値付き確率変数に対するフク・ナジェフの不等式に基づいている。

関連論文リスト

• Revisiting Convergence of AdaGrad with Relaxed Assumptions [4.189643331553922]
  問題に対する AdaGrad の収束と運動量(特別の場合として AdaGrad をカバー)を再考する。 このモデルは、多くの実用的な応用において、サブソースを含む広い範囲のノイズを含む。
  論文  参考訳（メタデータ） (2024-02-21T13:24:14Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Large deviations rates for stochastic gradient descent with strongly convex functions [11.247580943940916]
  勾配降下を伴う一般高確率境界の研究のための公式な枠組みを提供する。 強い凸関数を持つSGDの上限となる大きな偏差が見つかる。
  論文  参考訳（メタデータ） (2022-11-02T09:15:26Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Optimal Learning Rates for Regularized Least-Squares with a Fourier Capacity Condition [14.910167993978487]
  我々は、ヒルベルトスケールにおけるTikhonov-regularized Learning問題の新しいクラスに対して、ミニマックス適応率を導出する。 我々は、メルサー作用素のスペクトルが適切なヒルベルトスケールの「タイト」埋め込みの存在下で推測できることを実証する。
  論文  参考訳（メタデータ） (2022-04-16T18:32:33Z)
• Polynomial convergence of iterations of certain random operators in Hilbert space [2.732936573198251]
  本稿では,SGDアルゴリズムにインスパイアされた無限次元空間上の演算子の族におけるランダム反復列の収束について検討する。 収束率は初期状態に依存するが、ランダム性は最適定数係数の選択においてのみ役割を果たすことを示す。
  論文  参考訳（メタデータ） (2022-02-04T17:48:29Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。