論文の概要: $H$-Consistency Guarantees for Regression
- arxiv url: http://arxiv.org/abs/2403.19480v1
- Date: Thu, 28 Mar 2024 15:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 15:54:24.431541
- Title: $H$-Consistency Guarantees for Regression
- Title(参考訳): $H$-Consistency Guarantees for Regression
- Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong,
- Abstract要約: まず、以前に与えられたツールを一般化して$H$-一貫性境界を確立する新しい定理を提案する。
次に、二乗損失の損失関数を代用する新しい$H$整合境界を証明した。
我々はさらに、回帰のために$H$-consistencyを解析し、逆回帰のために原則化された代理損失を導出する。
- 参考スコア(独自算出の注目度): 30.389055604165222
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a detailed study of $H$-consistency bounds for regression. We first present new theorems that generalize the tools previously given to establish $H$-consistency bounds. This generalization proves essential for analyzing $H$-consistency bounds specific to regression. Next, we prove a series of novel $H$-consistency bounds for surrogate loss functions of the squared loss, under the assumption of a symmetric distribution and a bounded hypothesis set. This includes positive results for the Huber loss, all $\ell_p$ losses, $p \geq 1$, the squared $\epsilon$-insensitive loss, as well as a negative result for the $\epsilon$-insensitive loss used in squared Support Vector Regression (SVR). We further leverage our analysis of $H$-consistency for regression and derive principled surrogate losses for adversarial regression (Section 5). This readily establishes novel algorithms for adversarial regression, for which we report favorable experimental results in Section 6.
- Abstract(参考訳): 本稿では回帰のための$H$-consistency boundsについて詳細に研究する。
まず、以前に与えられたツールを一般化して$H$-一貫性境界を確立する新しい定理を提案する。
この一般化は回帰に特有の$H$一貫性境界を分析するのに不可欠である。
次に、対称分布と有界仮説の仮定の下で、二乗損失の損失関数を代理する新しい$H$整合境界を証明した。
これはHuberの損失に対する肯定的な結果、すべての$\ell_p$損失、$p \geq 1$、正方形$\epsilon$非感受性損失、および正方形サポートベクトル回帰(SVR)で使用される$\epsilon$非感受性損失に対する否定的な結果を含む。
我々はさらに、回帰に$H$-consistencyを解析し、逆回帰に原則化された代用損失を導出する(第5部)。
これにより、逆回帰の新しいアルゴリズムが容易に確立され、第6節で好ましい実験結果が報告される。
関連論文リスト
- Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。
我々は,分布保証が消えることを示し,推定分布が急速に崩壊して平均推定値が崩壊することを実証的に観察する。
提案手法は,$L$の学習効率を生かして,返却分布の予測値と量子化値とを協調的に学習し,返却分布の完全な分布を推定し,効率的な学習を可能にするものである。
論文 参考訳(メタデータ) (2023-05-26T12:30:05Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳(メタデータ) (2023-04-14T17:58:23Z) - Optimal Sketching Bounds for Sparse Linear Regression [116.30196615349226]
我々は、$ell_p$ノルムや広範なヒンジ様損失関数のクラスから、様々な損失関数の下で、$k$スパース線形回帰の難読スケッチを研究する。
スパース$ell$varepsレグレッションの場合、$Theta(klog(d/k)/varepsilon2)$ rowsでスケッチの上に曖昧な分布が存在し、これは定数要素に固執することを示している。
また、$O(mu2 klog(mun d/varepsilon)/varのスケッチも示します。
論文 参考訳(メタデータ) (2023-04-05T07:24:19Z) - Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。
より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。
我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
論文 参考訳(メタデータ) (2023-03-05T15:11:14Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳(メタデータ) (2022-12-11T18:03:12Z) - Non-Asymptotic Guarantees for Robust Statistical Learning under
$(1+\varepsilon)$-th Moment Assumption [0.716879432974126]
本稿では,統計レグレッションの多種族を対象としたログトランケート型M-メチエータを提案する。
標準推定よりもログトランケート推定の方が優れていることを示す。
論文 参考訳(メタデータ) (2022-01-10T06:22:30Z) - Robust Kernel-based Distribution Regression [13.426195476348955]
2段階のサンプリングを含む分布回帰(DR)を研究し、ヒルベルト空間(RKHS)を再現するカーネル上での確率測度から実値応答への回帰を目指す。
2段階サンプリング問題に対するロバストロス関数$l_sigma$の導入により,新たなロバスト分布回帰(RDR)スキームを提案する。
論文 参考訳(メタデータ) (2021-04-21T17:03:46Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Query Complexity of Least Absolute Deviation Regression via Robust
Uniform Convergence [26.51921319084656]
最小絶対偏差回帰のクエリ複雑性は、対数係数まで$Theta(d/epsilon2)$であることを示す。
我々は、経験的損失に対する新しい近似保証である、頑健な一様収束の概念を導入する。
論文 参考訳(メタデータ) (2021-02-03T22:54:27Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳(メタデータ) (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。