論文の概要: A closer look at temporal variability in dynamic online learning

• arxiv url: http://arxiv.org/abs/2102.07666v1
• Date: Mon, 15 Feb 2021 16:50:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 23:45:14.967956
• Title: A closer look at temporal variability in dynamic online learning
• Title（参考訳）: 動的オンライン学習における時間変動について
• Authors: Nicol\`o Campolongo and Francesco Orabona
• Abstract要約: この作品は、完全な情報でオンライン学習の文脈でダイナミックな後悔の設定に焦点を当てています。 損失関数の列は時間とともに大きく変化しないと仮定することにより、既存の結果と比較して改善された後悔境界を導き出すことが可能であることを示す。
• 参考スコア（独自算出の注目度）: 19.468067110814808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work focuses on the setting of dynamic regret in the context of online learning with full information. In particular, we analyze regret bounds with respect to the temporal variability of the loss functions. By assuming that the sequence of loss functions does not vary much with time, we show that it is possible to incur improved regret bounds compared to existing results. The key to our approach is to use the loss function (and not its gradient) during the optimization process. Building on recent advances in the analysis of Implicit algorithms, we propose an adaptation of the Implicit version of Online Mirror Descent to the dynamic setting. Our proposed algorithm is adaptive not only to the temporal variability of the loss functions, but also to the path length of the sequence of comparators when an upper bound is known. Furthermore, our analysis reveals that our results are tight and cannot be improved without further assumptions. Next, we show how our algorithm can be applied to the setting of learning with expert advice or to settings with composite loss functions. Finally, when an upper bound to the path-length is not fixed beforehand we show how to combine a greedy strategy with existing strongly-adaptive algorithms to compete optimally against different sequences of comparators simultaneously.
• Abstract（参考訳）: この作品は、完全な情報でオンライン学習の文脈でダイナミックな後悔の設定に焦点を当てています。 特に,損失関数の時間的変動に関して,後悔の限界を分析する。 損失関数の列は時間とともに大きく変化しないと仮定することにより、既存の結果と比較して改善された後悔境界を導き出すことが可能であることを示す。 我々のアプローチの鍵は、最適化プロセス中に損失関数(その勾配ではなく)を使用することです。 暗黙的アルゴリズム解析の最近の進歩を踏まえて,オンラインミラー降下の暗黙的バージョンを動的設定に適応する手法を提案する。 提案アルゴリズムは,損失関数の時間的変動だけでなく,上界が知られている場合のコンパレータ列の経路長にも適応する。 さらに,本分析の結果は厳密であり,さらなる仮定なしでは改善できないことが明らかとなった。 次に、専門家のアドバイスによる学習の設定や複合損失関数による設定にアルゴリズムをどのように適用できるかを示します。 最後に、経路長への上限が予め固定されていない場合、既存の強適応アルゴリズムとグリード戦略を組み合わせ、異なるコンパレータ列に対して最適に競合する方法を示す。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Improving Adaptive Online Learning Using Refined Discretization [44.646191058243645]
  リプシッツ損失を伴う制約のないオンライン線形最適化について検討する。 インスタンス最適性の追求に動機づけられ,我々は新しいアルゴリズムを提案する。 これらの結果の中心は、オンライン学習に対する継続的な時間的アプローチである。
  論文  参考訳（メタデータ） (2023-09-27T21:54:52Z)
• Ordering for Non-Replacement SGD [7.11967773739707]
  我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。 我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。 さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
  論文  参考訳（メタデータ） (2023-06-28T00:46:58Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• Optimal and Efficient Algorithms for General Mixable Losses against Switching Oracles [0.0]
  動的環境における混合損失関数のオンライン最適化について検討する。 我々の結果は、個々のシーケンス方式で強い決定論的意味を持つことが保証されている。
  論文  参考訳（メタデータ） (2021-08-13T21:48:55Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Dynamic Regret of Convex and Smooth Functions [93.71361250701075]
  非定常環境におけるオンライン凸最適化について検討する。 パフォーマンス指標として動的後悔を選択します。 本研究では, 滑らかさを活かして, 動的後悔をさらに高めることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-07T14:10:57Z)
• Temporal Variability in Implicit Online Learning [15.974402990630402]
  最強の後悔分析は、オンラインミラー・ダイスンよりも限界的な改善しか示さない。 損失関数列の時間的変動に依存する新しい静的な後悔境界を証明した。 本稿では、時間的変動の事前知識を必要とせずに、この後悔を抑える適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。