論文の概要: On the Robustness of Kernel Ridge Regression Using the Cauchy Loss Function
- arxiv url: http://arxiv.org/abs/2503.20120v1
- Date: Wed, 26 Mar 2025 00:00:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 13:22:10.358517
- Title: On the Robustness of Kernel Ridge Regression Using the Cauchy Loss Function
- Title（参考訳）: Cauchy Loss関数を用いたカーネルリッジ回帰のロバスト性について
- Authors: Hongwei Wen, Annika Betken, Wouter Koolen,
- Abstract要約: ロバスト回帰は、外れ値、重み付き分布、または汚染データの存在下で未知の回帰関数を推定する手法を開発することを目的としている。
頑健な回帰における既存の理論結果の多くは、ノイズは有限絶対平均を持ち、コーシーやいくつかのノイズのような特定の分布に反する仮定を仮定している。
絶対平均が無限である場合でも、任意の順序の有限モーメントで全ての雑音分布を許容する一般化されたコーシーノイズフレームワークを導入する。
- 参考スコア（独自算出の注目度）: 3.4956406636452626
- License:
- Abstract: Robust regression aims to develop methods for estimating an unknown regression function in the presence of outliers, heavy-tailed distributions, or contaminated data, which can severely impact performance. Most existing theoretical results in robust regression assume that the noise has a finite absolute mean, an assumption violated by certain distributions, such as Cauchy and some Pareto noise. In this paper, we introduce a generalized Cauchy noise framework that accommodates all noise distributions with finite moments of any order, even when the absolute mean is infinite. Within this framework, we study the \textit{kernel Cauchy ridge regressor} (\textit{KCRR}), which minimizes a regularized empirical Cauchy risk to achieve robustness. To derive the $L_2$-risk bound for KCRR, we establish a connection between the excess Cauchy risk and $L_2$-risk for sufficiently large scale parameters of the Cauchy loss, which reveals that these two risks are equivalent. Furthermore, under the assumption that the regression function satisfies H\"older smoothness, we derive excess Cauchy risk bounds for KCRR, showing improved performance as the scale parameter decreases. By considering the twofold effect of the scale parameter on the excess Cauchy risk and its equivalence with the $L_2$-risk, we establish the almost minimax-optimal convergence rate for KCRR in terms of $L_2$-risk, highlighting the robustness of the Cauchy loss in handling various types of noise. Finally, we validate the effectiveness of KCRR through experiments on both synthetic and real-world datasets under diverse noise corruption scenarios.
- Abstract（参考訳）: ロバスト回帰は、外れ値、重み付き分布、または汚染されたデータの存在下で未知の回帰関数を推定する手法を開発することを目的としており、性能に深刻な影響を及ぼす可能性がある。
頑健な回帰における既存の理論結果の多くは、ノイズは有限絶対平均を持ち、コーシーやパレートノイズのような特定の分布に反する仮定を仮定している。
本稿では、絶対平均が無限である場合でも、任意の順序の有限モーメントで全ての雑音分布を許容する一般化されたコーシーノイズフレームワークを提案する。
このフレームワーク内では、ロバスト性を達成するために、正規化された経験的コーシーリスクを最小限に抑える、 \textit{kernel Cauchy ridge regressor} (\textit{KCRR}) を研究する。
KCRRの$L_2$-riskバウンドを導出するために、余剰のコーシーリスクと、コーシー損失の十分に大きなパラメータに対する$L_2$-riskとの接続を確立し、これら2つのリスクが等価であることを明らかにする。
さらに、回帰関数がH\"古い滑らかさを満たすという仮定の下で、KCRRの余剰コーシーリスク境界を導出し、スケールパラメータが減少するにつれて性能が向上することを示した。
スケールパラメータが余剰コーシーリスクと$L_2$-riskとの等価性に与える影響を考慮し、KCRRの最小最適収束率を$L_2$-riskの2倍に設定し、コーシー損失の様々なノイズに対する堅牢性を強調した。
最後に,様々なノイズ汚濁シナリオ下での合成および実世界のデータセットを用いた実験により,KCRRの有効性を検証する。
関連論文リスト
- Provable Risk-Sensitive Distributional Reinforcement Learning with
General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。
モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-02-28T08:43:18Z) - High-dimensional robust regression under heavy-tailed data: Asymptotics and Universality [7.416689632227865]
重み付き雑音の存在下での頑健な回帰推定器の高次元特性について検討する。
整合性にもかかわらず、最適に調整された位置パラメータ$delta$は高次元状態において最適であることを示す。
隆起回帰の余剰リスクに対する崩壊率を導出する。
論文 参考訳（メタデータ） (2023-09-28T14:39:50Z) - Optimally tackling covariate shift in RKHS-based nonparametric
regression [43.457497490211985]
我々は、慎重に選択された正規化パラメータを持つカーネルリッジ回帰推定器がミニマックスレート最適であることを示す。
また,関数クラスに対する経験的リスクを最小限に抑えるナイーブ推定器は,厳密に準最適であることを示す。
そこで本研究では, 再重み付きKRR推定器を提案する。
論文 参考訳（メタデータ） (2022-05-06T02:33:24Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Exploring the Training Robustness of Distributional Reinforcement
Learning against Noisy State Observations [7.776010676090131]
エージェントが観察する状態の観察は、測定誤差や敵のノイズを含んでおり、エージェントが最適な行動を取るように誤解したり、訓練中に崩壊することもある。
本稿では,本研究の成果である分散強化学習(RL)のトレーニングロバスト性について検討する。
論文 参考訳（メタデータ） (2021-09-17T22:37:39Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。
この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
論文 参考訳（メタデータ） (2021-08-05T23:04:15Z) - Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning [36.015585972493575]
本稿では,一般値関数近似を用いたバッチ強化学習(RL)について考察する。
Empirical Risk Minimizer (ERM) の過剰リスクは、関数クラスの Rademacher 複雑性によって有界である。
高速統計率は局所ラデマッハ複雑性のツールを使用することで達成できる。
論文 参考訳（メタデータ） (2021-03-25T14:45:29Z) - Noisy Linear Convergence of Stochastic Gradient Descent for CV@R
Statistical Learning under Polyak-{\L}ojasiewicz Conditions [4.721069729610892]
Conditional Value-at-Risk(mathrmCV@R$)は、最も一般的なリスク対策の1つである。
私たちは、$mathrmCV@R$が教師付き統計学習のパフォーマンス基準として使用できることを証明します。
論文 参考訳（メタデータ） (2020-12-14T18:22:53Z) - Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。
MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文 参考訳（メタデータ） (2020-10-12T17:41:44Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。