論文の概要: Online Learning with Gradient-Variation Interval Regret

• arxiv url: http://arxiv.org/abs/2606.03831v1
• Date: Tue, 02 Jun 2026 16:16:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.146679
• Title: Online Learning with Gradient-Variation Interval Regret
• Title（参考訳）: 変分間隔レグレットを用いたオンライン学習
• Authors: Yan-Feng Xie, Shuche Wang, Peng Zhao, Zhi-Hua Zhou,
• Abstract要約: そこで本研究では,勾配変動を伴う時間間隔のリフレッシュなスケーリングを実現するオンライン学習アルゴリズムを提案する。 提案手法では, よりシンプルで効率的な2層オンラインアンサンブル構造を用いて, 高い理論的保証を実現する。
• 参考スコア（独自算出の注目度）: 54.59204826681113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates non-stationary online learning using the metric of interval regret, which requires an online algorithm to perform well over every time interval. We propose the first online learning algorithm that achieves an interval regret bound scaling with gradient variation, a fundamental measure of the cumulative change in online function gradients, which relates to various problem-dependent quantities and is closely connected to stochastic optimization and other problems. Our method employs a simple and efficient two-layer online ensemble structure that achieves strong theoretical guarantees. Specifically, it enjoys a regret bound that simultaneously adapts to various problem-dependent quantities while also preserving the minimax-optimal rate in the worst case. Moreover, recognizing the challenge of hyperparameter tuning, we introduce a Lipschitz- and smoothness-agnostic variant that automatically adapts to these potentially unknown constants. This is primarily enabled by a novel Lipschitz-adaptive meta algorithm, which may be of independent interest. Beyond interval regret, our method also yields broader implications: it provides versatile bounds for interval dynamic regret, a stronger measure that competes with changing comparators over any interval, and yields the first piecewise characterization for stochastic extended adversarial optimization. Theoretical findings are validated by experiments.
• Abstract（参考訳）: 本稿では,時間間隔毎のオンライン学習を行うために,時間間隔の後悔度を用いて,定常的でないオンライン学習について検討する。 本稿では,オンライン関数勾配の累積的変化の基本的な尺度である勾配変動を伴う時間的残差境界スケーリングを実現するための,最初のオンライン学習アルゴリズムを提案する。 提案手法では, よりシンプルで効率的な2層オンラインアンサンブル構造を用いて, 高い理論的保証を実現する。 具体的には、様々な問題に依存した量に同時に適応すると同時に、最悪の場合の最小最適速度を保った後悔のバウンダリを楽しむ。 さらに、ハイパーパラメータチューニングの課題を認識し、これらの潜在的に未知の定数に自動的に適応するリプシッツおよび滑らか性に依存しない変種を導入する。 これは、リプシッツ適応メタアルゴリズムによって主に実現され、これは独立した関心を持つ可能性がある。 この手法は,任意の区間にわたるコンパレータの変化に対抗し,確率的拡張対角最適化のための第一のピースワイズ特性を与える。 理論的発見は実験によって検証される。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Improving Adaptive Online Learning Using Refined Discretization [44.646191058243645]
  リプシッツ損失を伴う制約のないオンライン線形最適化について検討する。 インスタンス最適性の追求に動機づけられ,我々は新しいアルゴリズムを提案する。 これらの結果の中心は、オンライン学習に対する継続的な時間的アプローチである。
  論文  参考訳（メタデータ） (2023-09-27T21:54:52Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• Parameter-free Gradient Temporal Difference Learning [3.553493344868414]
  強化学習のためのグラデーションに基づく時間差アルゴリズムを開発。 当社のアルゴリズムは線形時間で動作し、GTD2のものを$log$ファクタまで一致させる高確率収束を保証します。 本実験は,本手法が完全に調整されたベースラインに対して高い予測性能を保ちながら,チューニングを一切行わないことを示す。
  論文  参考訳（メタデータ） (2021-05-10T06:07:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。