論文の概要: Second-Order Bounds for [0,1]-Valued Regression via Betting Loss
- arxiv url: http://arxiv.org/abs/2507.12584v1
- Date: Wed, 16 Jul 2025 19:09:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-18 20:10:24.252281
- Title: Second-Order Bounds for [0,1]-Valued Regression via Betting Loss
- Title（参考訳）: 賭け損失による[0,1]値回帰の2次境界
- Authors: Yinan Li, Kwang-Sung Jun,
- Abstract要約: 我々は、[0,1]$値の回帰問題をi.d.設定で考える。
賭け損失と呼ばれる新たな損失関数を提案する。
- 参考スコア（独自算出の注目度）: 23.376783872542298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the $[0,1]$-valued regression problem in the i.i.d. setting. In a related problem called cost-sensitive classification, \citet{foster21efficient} have shown that the log loss minimizer achieves an improved generalization bound compared to that of the squared loss minimizer in the sense that the bound scales with the cost of the best classifier, which can be arbitrarily small depending on the problem at hand. Such a result is often called a first-order bound. For $[0,1]$-valued regression, we first show that the log loss minimizer leads to a similar first-order bound. We then ask if there exists a loss function that achieves a variance-dependent bound (also known as a second order bound), which is a strict improvement upon first-order bounds. We answer this question in the affirmative by proposing a novel loss function called the betting loss. Our result is ``variance-adaptive'' in the sense that the bound is attained \textit{without any knowledge about the variance}, which is in contrast to modeling label (or reward) variance or the label distribution itself explicitly as part of the function class such as distributional reinforcement learning.
- Abstract（参考訳）: 我々は、[0,1]$値の回帰問題をi.d.設定で考える。
コスト感受性分類(英語版)と呼ばれる関連する問題において、 \citet{foster21efficient} は、このログ損失最小化器は、最適分類器のコストと、手元の問題に応じて任意に小さくできるような、最適分類器のコストとのバウンドスケールという意味で、二乗損失最小化器と比較して、改善された一般化を達成することを示した。
このような結果は、しばしば一階有界(first-order bound)と呼ばれる。
$[0,1]$-valued回帰の場合、まずログ損失最小化器が同様に1階のバウンダリとなることを示す。
次に、分散依存境界(二階境界とも呼ばれる)を達成する損失関数が存在するかどうかを問う。
我々はこの疑問に、賭け損失と呼ばれる新しい損失関数を提案することによって、肯定的に答える。
これは、ラベルの分散(あるいは報酬)やラベルの分布そのものを、分散強化学習のような関数クラスの一部として明示的に表すのとは対照的である。
関連論文リスト
- Beyond Worst-Case Online Classification: VC-Based Regret Bounds for Relaxed Benchmarks [19.642496463491053]
我々は、オンラインバイナリ分類を再考し、最良クラスのバイナリ損失との競合から、緩やかなベンチマークとの競合へと焦点を移した。
我々は、小さな入力摂動に対して頑健な予測器の比較、ガウス平滑化下での良好な性能、あるいは所定の出力マージンを維持することを検討する。
我々のアルゴリズムは、VC次元とインスタンス空間の複雑さにのみ依存する後悔の保証を達成する。
論文 参考訳（メタデータ） (2025-04-14T18:00:23Z) - Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。
スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
論文 参考訳（メタデータ） (2025-03-11T01:45:42Z) - Rate-Preserving Reductions for Blackwell Approachability [72.03309261614991]
Abernethy et al. (2011) はブラックウェルのアプローチ可能性と非回帰学習が等価であることを示した。
一般化された後悔最小化の例に対して、いかなるアプローチ可能性のインスタンスも厳格に削減できることが示される。
論文 参考訳（メタデータ） (2024-06-10T23:23:52Z) - SignSVRG: fixing SignSGD via variance reduction [3.3504365823045044]
本稿では SignSGD に分散低減手法を組み込むための, 単純かつ実用的な方法を提案する。
滑らかな関数に対しては、勾配の期待ノルムに対して $mathcalO (1 / sqrtT)$ rate と、滑らかな凸関数の場合 $mathcalO (1/T)$ rate を与える。
論文 参考訳（メタデータ） (2023-05-22T16:14:53Z) - Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum
Minimization [52.25843977506935]
有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。
そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
論文 参考訳（メタデータ） (2022-11-03T14:41:46Z) - Scale-free Unconstrained Online Learning for Curved Losses [1.5147172044848798]
コンパレータのノルム$U$と勾配の最大ノルム$G$に同時に適応する可能性を検討する。
意外なことに、最近の研究では1ドル=Lipschitz損失の特定のケースにおいて、適応性に対するそのような価格が不要であることが示されている。
論文 参考訳（メタデータ） (2022-02-11T14:10:35Z) - Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。
クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。
我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
論文 参考訳（メタデータ） (2021-07-31T09:40:23Z) - Localization, Convexity, and Star Aggregation [0.0]
オフセットラデマッハ複体は、正方形損失に対する鋭く線形依存的な上界を示すことが示されている。
統計的設定では、オフセット境界は一定の均一な凸性を満たす任意の損失に一般化可能であることを示す。
論文 参考訳（メタデータ） (2021-05-19T00:47:59Z) - Query Complexity of Least Absolute Deviation Regression via Robust
Uniform Convergence [26.51921319084656]
最小絶対偏差回帰のクエリ複雑性は、対数係数まで$Theta(d/epsilon2)$であることを示す。
我々は、経験的損失に対する新しい近似保証である、頑健な一様収束の概念を導入する。
論文 参考訳（メタデータ） (2021-02-03T22:54:27Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳（メタデータ） (2020-05-28T02:40:42Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。