論文の概要: Understanding Robust Machine Learning for Nonparametric Regression with Heavy-Tailed Noise

• arxiv url: http://arxiv.org/abs/2510.09888v1
• Date: Fri, 10 Oct 2025 21:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.672288
• Title: Understanding Robust Machine Learning for Nonparametric Regression with Heavy-Tailed Noise
• Title（参考訳）: 重音を伴う非パラメトリック回帰に対するロバスト機械学習の理解
• Authors: Yunlong Feng, Qiang Wu,
• Abstract要約: 我々は、Tikhonov-regularized risk minimizationのクローズアップ例として、Huberレグレッションを使用している。 i)弱モーメント仮定下での標準濃度ツールの分解と,(ii)非有界仮説空間によってもたらされる解析的困難に対処する。 我々の研究は、原則化されたルールを提供し、ハマーを超えて他の堅牢な損失に拡張し、頑健な学習を分析するための基本的なレンズとして、過剰なリスクではなく予測エラーを強調します。
• 参考スコア（独自算出の注目度）: 10.844819221753042
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We investigate robust nonparametric regression in the presence of heavy-tailed noise, where the hypothesis class may contain unbounded functions and robustness is ensured via a robust loss function $\ell_\sigma$. Using Huber regression as a close-up example within Tikhonov-regularized risk minimization in reproducing kernel Hilbert spaces (RKHS), we address two central challenges: (i) the breakdown of standard concentration tools under weak moment assumptions, and (ii) the analytical difficulties introduced by unbounded hypothesis spaces. Our first message is conceptual: conventional generalization-error bounds for robust losses do not faithfully capture out-of-sample performance. We argue that learnability should instead be quantified through prediction error, namely the $L_2$-distance to the truth $f^\star$, which is $\sigma$-independent and directly reflects the target of robust estimation. To make this workable under unboundedness, we introduce a \emph{probabilistic effective hypothesis space} that confines the estimator with high probability and enables a meaningful bias--variance decomposition under weak $(1+\epsilon)$-moment conditions. Technically, we establish new comparison theorems linking the excess robust risk to the $L_2$ prediction error up to a residual of order $\mathcal{O}(\sigma^{-2\epsilon})$, clarifying the robustness--bias trade-off induced by the scale parameter $\sigma$. Building on this, we derive explicit finite-sample error bounds and convergence rates for Huber regression in RKHS that hold without uniform boundedness and under heavy-tailed noise. Our study delivers principled tuning rules, extends beyond Huber to other robust losses, and highlights prediction error, not excess generalization risk, as the fundamental lens for analyzing robust learning.
• Abstract（参考訳）: 重み付き雑音の存在下でのロバストな非パラメトリック回帰について検討し、仮説クラスは非有界関数を含み、ロバストな損失関数$\ell_\sigma$を介してロバスト性を保証する。 再現カーネルヒルベルト空間 (RKHS) におけるリスク最小化をTikhonov-regularized risk minimization のクローズアップ例として、フーバー回帰を用いて、2つの中心的な課題に対処する。 一 弱モーメント仮定による標準濃度計の分解及び (ii)非有界仮説空間によってもたらされる解析的困難。 我々の最初のメッセージは概念的であり、ロバストな損失に対する従来の一般化エラー境界は、アウトオブサンプルのパフォーマンスを忠実に捉えていない。 我々は、予測誤差、すなわち$L_2$-distance to truth $f^\star$, which is $\sigma$-independent, direct reflects the target of robust estimation。 非有界な条件下では、推定子を高い確率で閉じ込め、弱い$(1+\epsilon)$-モーメント条件下で有意なバイアス-分散分解を可能にする「emph{probabilistic effective hypothesis space」を導入する。 技術的には、過剰なロバストリスクを$L_2$予測誤差と$\mathcal{O}(\sigma^{-2\epsilon})$の残差に結びつける新しい比較定理を確立し、スケールパラメータ$\sigma$によって誘導されるロバスト性-バイアストレードオフを明確にする。 これに基づいて、一様有界性と重み付き雑音を受けることなく保持するRKHSにおけるハッバー回帰に対する明示的な有限サンプル誤差境界と収束率を導出する。 我々の研究は、原則化されたチューニングルールを提供し、ハマーを超えて他の堅牢な損失に拡張し、頑健な学習を分析するための基本的なレンズとして、一般化リスクではなく予測エラーを強調している。

関連論文リスト

• Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises [55.43924214633558]
  本稿では,サブワイブルノイズとSsBCノイズの2種類のノイズに着目した。 これら2つのノイズ仮定の下では、凸最適化と滑らかな最適化の文脈において、SFOMの不規則および高確率収束が研究されている。
  論文  参考訳（メタデータ） (2025-07-17T16:48:45Z)
• Adversarial Robustness of Nonparametric Regression [14.20104019605888]
  回帰関数が2階ソボレフ空間に属することを前提として、非パラメトリック回帰における対向ロバスト性を特徴づける。 古典的なスムーズなスプライン推定器が適切に正規化されると、敵の汚職に対して頑健であることを示す。
  論文  参考訳（メタデータ） (2025-05-23T00:18:20Z)
• Generalization and Robustness of the Tilted Empirical Risk [17.48212403081267]
  教師付き統計学習アルゴリズムの一般化誤差(リスク)は、これまで見られなかったデータに対する予測能力を定量化する。 指数的傾きにインスパイアされたcitetli 2020tiltedは、機械学習アプリケーションのための非線形リスク指標として、経験的リスク(TER)を傾けることを提案した。
  論文  参考訳（メタデータ） (2024-09-28T18:31:51Z)
• Robust deep learning from weakly dependent data [0.0]
  本稿では, 弱い依存度を持つ観測結果から, 非有界損失関数と非有界入力/出力を含む頑健な深層学習を考察する。 これらの境界と$r$の関係を導き、データが任意の順序のモーメント(すなわち$r=infty$)を持つとき、収束率はよく知られた結果に近い。
  論文  参考訳（メタデータ） (2024-05-08T14:25:40Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Stability and Risk Bounds of Iterative Hard Thresholding [41.082982732100696]
  アルゴリズム安定性の概念の下でIHTの新しいスパース一般化理論を導入する。 スパースレベル$k$のIHTは、スパース過剰リスクにおける収束率を$mathcaltilde O(n-1/2sqrtlog(n)log(p))$で楽しむことを示す。 理論的予測を確認するための予備的な数値的証拠が提供される。
  論文  参考訳（メタデータ） (2022-03-17T16:12:56Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions [19.439945058410203]
  高次元状態におけるサンプル外リスク推定の問題について検討する。 広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。 この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
  論文  参考訳（メタデータ） (2020-03-03T20:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。