論文の概要: Fast Rates for Swap-Agnostic Learning of Proper Losses
- arxiv url: http://arxiv.org/abs/2607.28856v1
- Date: Thu, 30 Jul 2026 21:41:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.49163
- Title: Fast Rates for Swap-Agnostic Learning of Proper Losses
- Title(参考訳): 適正損失のスワップ非依存学習の高速化
- Abstract要約: スワップに依存しない学習では、コンパレータは学習者の予測のレベルセットごとに異なる仮説を選択することができる。
適切な損失に対して、これらの予測レベルの比較を共同で制御できることが示される。
私たちの主な成果は、任意の適切な損失に対するオフラインスワップ非依存の学習者です。
- 参考スコア(独自算出の注目度): 1.4371100636219536
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Swap-agnostic learning strengthens classical agnostic learning by allowing the comparator to select a different hypothesis on each level set of the learner's predictions. This benchmark captures prediction-dependent postprocessing, but appears to require solving a separate agnostic-learning problem for every possible prediction value. We show that, for proper losses, these prediction-level comparisons can instead be controlled jointly. Our main result is an offline swap-agnostic learner for any fixed proper loss. For a finite hypothesis class $H$ and any fixed smooth proper loss, the excess risk from $m$ i.i.d. samples is $\widetilde{O}((\log |H|/m)^{2/3})$, with a corresponding online swap-regret bound of $\widetilde{O}(T^{1/3}(\log |H|)^{2/3})$. We also give algorithms whose predictions are simultaneously swap-agnostic for entire families of losses. For all proper losses bounded in $[-1,1]$, we obtain online and offline rates of $\widetilde{O}(\sqrt{T\log |H|})$ and $\widetilde{O}(\sqrt{\log |H|/m})$, respectively. For convex, $1$-Lipschitz proper losses, these rates improve to $\widetilde{O}(T^{1/3}(\log |H|)^{2/3})$ online and $\widetilde{O}((\log |H|/m)^{2/3})$ offline. These bounds are tight up to logarithmic factors and improve upon the $\widetilde{O}(T^{2/3}(\log |H|)^{1/3})$ rate implied by the swap-omniprediction guarantee of Luo et al. (2025). Our main technical contribution is a reduction from swap-agnostic learning to a second-order form of multicalibration, obtained via Blackwell approachability with a Bernstein-style variance correction.
- Abstract(参考訳): スワップに依存しない学習は、学習者の予測の各レベルセットで、コンパレータが異なる仮説を選択できるようにすることで、古典的な不可知学習を強化する。
このベンチマークは、予測依存のポストプロセッシングをキャプチャするが、予測可能なすべての値に対して、個別の非学習問題を解決する必要があるように見える。
適切な損失に対して、これらの予測レベルの比較を共同で制御できることが示される。
私たちの主な成果は、任意の適切な損失に対するオフラインスワップ非依存の学習者です。
有限仮説クラス $H$ と任意の固定スムーズな純損失に対して、$m$ のサンプルからの余剰リスクは $\widetilde{O}((\log |H|/m)^{2/3})$ であり、対応するオンラインスワップ-レグルト境界は $\widetilde{O}(T^{1/3}(\log |H|)^{2/3})$ である。
また、損失の家族全体に対して、予測が同時にスワップに依存しないアルゴリズムも提供します。
$[-1,1]$で有界なすべての適切な損失に対して、オンラインとオフラインのレートはそれぞれ$\widetilde{O}(\sqrt{T\log |H|})$と$\widetilde{O}(\sqrt{\log |H|/m})$である。
凸の場合、$$$$-Lipschitz 適切な損失は$\widetilde{O}(T^{1/3}(\log |H|)^{2/3})$オンラインと$\widetilde{O}((\log |H|/m)^{2/3})$オフラインに改善される。
これらの境界は対数的因子に強くなり、$\widetilde{O}(T^{2/3)(\log |H|)^{1/3})$ で改善される。
我々の主な技術的貢献は、スワップ・アノスティック・ラーニングから、バーンスタイン式分散補正によるブラックウェルアプローチ性によって得られる2階の多重校正への還元である。
関連論文リスト
- Dirichlet Follow-the-Leader Closes the Gap in Simultaneous Multiclass U-Calibration [1.14219428942199]
自己一致による摂動は、約$K5/4sqrtT$最悪の後悔を与える。
追加の$sqrtKlog K$を$-smooth損失で調達する。
両方のギャップを1行の予測器で埋めます。
論文 参考訳(メタデータ) (2026-08-07T00:02:01Z) - Asymptotically Optimal Regret for Reinforcement Learning without Horizon Dependence [54.59847568544922]
有限水平時間同質なマルコフ決定過程に対して、$A$状態、$A$アクション、hoighty $H$、および1ドルで有界なトラジェクティブ当たりの合計報酬について、地平自由な後悔について検討する。
失敗確率$$K$はエピソード数で$tilde O(sqrtSAK+S3K)$ hides $mathsfpolyである。
論文 参考訳(メタデータ) (2026-07-22T07:42:19Z) - Online Convex Optimization with Sublinear Noisy Probes [6.998574163422056]
オンライン凸最適化(OCO)を凸集合として$Ksubseteq mathbb Rd$で検討する。
我々は最近の2つの作業の行を一般化する統一された探索モデルを導入する: 専門家設定におけるサブ線形ベストエキスパートクエリと、OCOの各ラウンドで利用できるペアワイズフィードバックである。
本研究の主目的は, サブリニアでノイズの多いプローブ予算であっても, OCO体制の完全なフィードバックにおける最悪の後悔を確実に改善できることである。
論文 参考訳(メタデータ) (2026-06-12T17:05:08Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-02-19T17:21:15Z) - Near-optimal Swap Regret Minimization for Convex Losses [21.006993033547708]
我々は、ほぼ最適の$widetilde O(sqrt T)$期待スワップリミスを保証するランダム化されたオンラインアルゴリズムを、単位区間において適応的に選択されたLipschitz凸損失の任意の列に対して与える。
論文 参考訳(メタデータ) (2026-02-09T16:26:34Z) - Improved Bounds for Swap Multicalibration and Swap Omniprediction [31.959887895880765]
我々は,有界線型関数に対する$O(sqrtT)$ $ell_2$-swap多重校正誤差を効率よく実現できることを示す。
また、凸関数とリプシッツ関数のクラスに対して、$varepsilon$-swap omnipredictorを効率的に学習する、$O(varepsilon -3)$サンプル複雑性も確立する。
論文 参考訳(メタデータ) (2025-05-27T08:29:35Z) - An Optimistic Algorithm for Online Convex Optimization with Adversarial Constraints [55.2480439325792]
逆制約を伴うオンライン凸最適化(OCO)について検討する。
本稿では,損失関数と制約関数の予測にアルゴリズムがアクセス可能な設定に着目する。
以上の結果から,現在のO(sqrtT) $ regret と $ tildeO(sqrtT) $ cumulative constraint violation の改善が期待できることがわかった。
論文 参考訳(メタデータ) (2024-12-11T03:06:42Z) - Optimal and Efficient Algorithms for Decentralized Online Convex Optimization [51.00357162913229]
分散オンライン凸最適化(D-OCO)は、局所計算と通信のみを用いて、グローバルな損失関数の列を最小化するように設計されている。
我々は,凸関数と強凸関数の残差を$tildeO(nrho-1/4sqrtT)$と$tildeO(nrho-1/2log T)$に削減できる新しいD-OCOアルゴリズムを開発した。
我々の分析によると、射影自由多様体は$O(nT3/4)$と$O(n)を達成できる。
論文 参考訳(メタデータ) (2024-02-14T13:44:16Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳(メタデータ) (2023-07-17T09:55:35Z) - \~Optimal Differentially Private Learning of Thresholds and
Quasi-Concave Optimization [23.547605262139957]
しきい値関数の学習問題は、機械学習の基本的な問題である。
Kaplan et al による $tildeO(log* |X|)1.5) のほぼタイトな上界を提供する。
また、プライベート準凹の加法誤差(関連するより一般的な問題)に対して$tildeTheta(2log*|X|)$の上限と下限のマッチングも提供する。
論文 参考訳(メタデータ) (2022-11-11T18:16:46Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳(メタデータ) (2021-03-02T06:53:44Z) - Taking a hint: How to leverage loss predictors in contextual bandits? [63.546913998407405]
我々は,損失予測の助けを借りて,文脈的包帯における学習を研究する。
最適な後悔は$mathcalO(minsqrtT, sqrtmathcalETfrac13)$である。
論文 参考訳(メタデータ) (2020-03-04T07:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。