論文の概要: Non-stationary Online Learning for Curved Losses: Improved Dynamic Regret via Mixability

• arxiv url: http://arxiv.org/abs/2506.10616v1
• Date: Thu, 12 Jun 2025 12:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.713316
• Title: Non-stationary Online Learning for Curved Losses: Improved Dynamic Regret via Mixability
• Title（参考訳）: 曲線損失に対する非定常オンライン学習:混合性による動的レグレットの改善
• Authors: Yu-Jie Zhang, Peng Zhao, Masashi Sugiyama,
• Abstract要約: 混合可能性の概念を活用することで、動的後悔を著しく改善できることを示す。 固定共有更新を持つ指数重み付け法は,混合損失に対して$mathcalO(d T2/3 P_T2/3 log T)$ dynamic regretを達成できることを示す。
• 参考スコア（独自算出の注目度）: 65.99855403424979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-stationary online learning has drawn much attention in recent years. Despite considerable progress, dynamic regret minimization has primarily focused on convex functions, leaving the functions with stronger curvature (e.g., squared or logistic loss) underexplored. In this work, we address this gap by showing that the regret can be substantially improved by leveraging the concept of mixability, a property that generalizes exp-concavity to effectively capture loss curvature. Let $d$ denote the dimensionality and $P_T$ the path length of comparators that reflects the environmental non-stationarity. We demonstrate that an exponential-weight method with fixed-share updates achieves an $\mathcal{O}(d T^{1/3} P_T^{2/3} \log T)$ dynamic regret for mixable losses, improving upon the best-known $\mathcal{O}(d^{10/3} T^{1/3} P_T^{2/3} \log T)$ result (Baby and Wang, 2021) in $d$. More importantly, this improvement arises from a simple yet powerful analytical framework that exploits the mixability, which avoids the Karush-Kuhn-Tucker-based analysis required by existing work.
• Abstract（参考訳）: 近年,非定常オンライン学習が注目されている。 かなりの進歩にもかかわらず、動的後悔の最小化は主に凸関数に焦点を合わせており、より強い曲率(例えば、正方形、ロジスティック損失)を持つ関数は探索されていない。 本研究は,exp-concavityを一般化し,損失曲率を効果的に捕捉する特性である混合性の概念を活用することで,後悔を著しく改善できることを示すことで,このギャップに対処する。 d$ は次元を表し、$P_T$ は環境非定常性を反映するコンパレータのパス長を表す。 固定共有更新を持つ指数重み付け法は、混合損失に対して$\mathcal{O}(d T^{1/3} P_T^{2/3} \log T)$ dynamic regretを達成し、最もよく知られた$\mathcal{O}(d^{10/3} T^{1/3} P_T^{2/3} \log T)$ result (Baby and Wang, 2021)$$$d$で改善することを示した。 さらに重要なのは、この改善は、既存の作業で必要とされるKarush-Kuhn-Tuckerベースの分析を避けるために、混合性を利用するシンプルだが強力な分析フレームワークから生じる。

関連論文リスト

• Any-stepsize Gradient Descent for Separable Data under Fenchel--Young Losses [17.835960292396255]
  emphFenchel-Young損失の枠組みに基づく一般損失関数に対して任意のステップの勾配収束を示す。 我々は、自己有界性の代わりに損失関数の分岐マージンによって、これらのより良いレートが可能であると論じる。
  論文  参考訳（メタデータ） (2025-02-07T12:52:12Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Optimal Dynamic Regret in Proper Online Learning with Strongly Convex Losses and Beyond [23.91519151164528]
  適切な学習設定で、Strongly Adaptiveアルゴリズムは、ほぼ最適な動的後悔を実現することができることを示す。 また, 適切なオンライン学習を行う場合, Exp-concaveの損失を伴って, 最適の動的後悔率を導出する。
  論文  参考訳（メタデータ） (2022-01-21T22:08:07Z)
• Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR [13.165557713537389]
  我々は、強い適応性(SA)アルゴリズムを、動的後悔を制御するための原則的な方法と見なせることを示した。 我々は,オンラインKernel Ridge Regression(KRR)の最小限の最適性を確立する,ある罰則による新たな下限を導出する。
  論文  参考訳（メタデータ） (2021-11-22T21:52:47Z)
• Optimal Dynamic Regret in Exp-Concave Online Learning [28.62891856368132]
  我々は、オンライン学習におけるZinkevich(2003)スタイルの動的後悔最小化の問題を検討する。 不適切な学習が許されるたびに、Strongly Adaptive のオンライン学習者は $tilde O(d3.5n1/3C_n2/3 vee dlog n)$ の動的後悔を達成する。 経路の長さ) 学習者が事前に知ることができない任意のコンパレータのシーケンス。
  論文  参考訳（メタデータ） (2021-04-23T21:36:51Z)
• Dynamic Regret of Convex and Smooth Functions [93.71361250701075]
  非定常環境におけるオンライン凸最適化について検討する。 パフォーマンス指標として動的後悔を選択します。 本研究では, 滑らかさを活かして, 動的後悔をさらに高めることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-07T14:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。