論文の概要: $H$-Consistency Guarantees for Regression

• arxiv url: http://arxiv.org/abs/2403.19480v1
• Date: Thu, 28 Mar 2024 15:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 15:54:24.431541
• Title: $H$-Consistency Guarantees for Regression
• Title（参考訳）: $H$-Consistency Guarantees for Regression
• Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong,
• Abstract要約: まず、以前に与えられたツールを一般化して$H$-一貫性境界を確立する新しい定理を提案する。 次に、二乗損失の損失関数を代用する新しい$H$整合境界を証明した。 我々はさらに、回帰のために$H$-consistencyを解析し、逆回帰のために原則化された代理損失を導出する。
• 参考スコア（独自算出の注目度）: 30.389055604165222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a detailed study of $H$-consistency bounds for regression. We first present new theorems that generalize the tools previously given to establish $H$-consistency bounds. This generalization proves essential for analyzing $H$-consistency bounds specific to regression. Next, we prove a series of novel $H$-consistency bounds for surrogate loss functions of the squared loss, under the assumption of a symmetric distribution and a bounded hypothesis set. This includes positive results for the Huber loss, all $\ell_p$ losses, $p \geq 1$, the squared $\epsilon$-insensitive loss, as well as a negative result for the $\epsilon$-insensitive loss used in squared Support Vector Regression (SVR). We further leverage our analysis of $H$-consistency for regression and derive principled surrogate losses for adversarial regression (Section 5). This readily establishes novel algorithms for adversarial regression, for which we report favorable experimental results in Section 6.
• Abstract（参考訳）: 本稿では回帰のための$H$-consistency boundsについて詳細に研究する。 まず、以前に与えられたツールを一般化して$H$-一貫性境界を確立する新しい定理を提案する。 この一般化は回帰に特有の$H$一貫性境界を分析するのに不可欠である。 次に、対称分布と有界仮説の仮定の下で、二乗損失の損失関数を代理する新しい$H$整合境界を証明した。 これはHuberの損失に対する肯定的な結果、すべての$\ell_p$損失、$p \geq 1$、正方形$\epsilon$非感受性損失、および正方形サポートベクトル回帰(SVR)で使用される$\epsilon$非感受性損失に対する否定的な結果を含む。 我々はさらに、回帰に$H$-consistencyを解析し、逆回帰に原則化された代用損失を導出する(第5部)。 これにより、逆回帰の新しいアルゴリズムが容易に確立され、第6節で好ましい実験結果が報告される。

関連論文リスト

• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Realizable $H$-Consistent and Bayes-Consistent Loss Functions for Learning to Defer [30.389055604165222]
  非増加関数の$Psi$によってパラメータ化され、穏やかな条件下で実現可能な$H$一貫性を確立する。 分類誤差に基づくコスト関数の場合、これらの損失は仮説集合が対称かつ完全であるときに$H$一貫性境界を持つことを示す。
  論文  参考訳（メタデータ） (2024-07-18T17:35:03Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布保証が消えることを示し,推定分布が急速に崩壊して平均推定値が崩壊することを実証的に観察する。 提案手法は,$L$の学習効率を生かして,返却分布の予測値と量子化値とを協調的に学習し,返却分布の完全な分布を推定し,効率的な学習を可能にするものである。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
  本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。 これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。 これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2023-04-14T17:58:23Z)
• Non-Asymptotic Guarantees for Robust Statistical Learning under $(1+\varepsilon)$-th Moment Assumption [0.716879432974126]
  本稿では,統計レグレッションの多種族を対象としたログトランケート型M-メチエータを提案する。 標準推定よりもログトランケート推定の方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-10T06:22:30Z)
• Robust Kernel-based Distribution Regression [13.426195476348955]
  2段階のサンプリングを含む分布回帰(DR)を研究し、ヒルベルト空間(RKHS)を再現するカーネル上での確率測度から実値応答への回帰を目指す。 2段階サンプリング問題に対するロバストロス関数$l_sigma$の導入により,新たなロバスト分布回帰(RDR)スキームを提案する。
  論文  参考訳（メタデータ） (2021-04-21T17:03:46Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence [26.51921319084656]
  最小絶対偏差回帰のクエリ複雑性は、対数係数まで$Theta(d/epsilon2)$であることを示す。 我々は、経験的損失に対する新しい近似保証である、頑健な一様収束の概念を導入する。
  論文  参考訳（メタデータ） (2021-02-03T22:54:27Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。