論文の概要: Discounted Adaptive Online Prediction
- arxiv url: http://arxiv.org/abs/2402.02720v1
- Date: Mon, 5 Feb 2024 04:29:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 17:45:46.668793
- Title: Discounted Adaptive Online Prediction
- Title(参考訳): 割引アダプティブオンライン予測
- Authors: Zhiyu Zhang, David Bombara, Heng Yang
- Abstract要約: 適応型オンライン学習において,近年開発された手法を応用して,古典的な軽率な後悔の概念を再考する。
我々の主な成果は、損失シーケンスとコンパレータの両方の複雑さに適応する新しいアルゴリズムである。
オンラインコンフォメーション予測(オンラインコンフォメーション予測)という,定員決定を伴う下流のオンライン学習タスクを通じて,このようなメリットを実証する。
- 参考スコア(独自算出の注目度): 6.2825062988372125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online learning is not always about memorizing everything. Since the future
can be statistically very different from the past, a critical challenge is to
gracefully forget the history while new data comes in. To formalize this
intuition, we revisit the classical notion of discounted regret using recently
developed techniques in adaptive online learning. Our main result is a new
algorithm that adapts to the complexity of both the loss sequence and the
comparator, improving the widespread non-adaptive algorithm - gradient descent
with a constant learning rate. In particular, our theoretical guarantee does
not require any structural assumption beyond convexity, and the algorithm is
provably robust to suboptimal hyperparameter tuning. We further demonstrate
such benefits through online conformal prediction, a downstream online learning
task with set-membership decisions.
- Abstract(参考訳): オンライン学習は、すべてを覚えることではない。
未来は統計的に過去と大きく異なる可能性があるため、新しいデータが入り込む間、歴史を優雅に忘れることが重要な課題である。
この直観を定式化するために,最近開発された適応型オンライン学習の手法を用いて,後悔の割引という古典的な概念を再検討する。
我々の主な成果は、損失シーケンスとコンパレータの両方の複雑さに適応する新しいアルゴリズムであり、一定の学習率で広範に非適応的なアルゴリズムである勾配降下を改善する。
特に、我々の理論的保証は凸性以上の構造的仮定を必要とせず、アルゴリズムは準最適ハイパーパラメータチューニングに確実に堅牢である。
さらに,オンラインコンフォメーション予測,セットメンバシップ決定のための下流オンライン学習タスクを通じて,このようなメリットを実証する。
関連論文リスト
- Improving Adaptive Online Learning Using Refined Discretization [44.646191058243645]
リプシッツ損失を伴う制約のないオンライン線形最適化について検討する。
インスタンス最適性の追求に動機づけられ,我々は新しいアルゴリズムを提案する。
これらの結果の中心は、オンライン学習に対する継続的な時間的アプローチである。
論文 参考訳(メタデータ) (2023-09-27T21:54:52Z) - Efficient Methods for Non-stationary Online Learning [67.3300478545554]
本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。
本手法は,パラメータフリーオンライン学習において開発された還元機構を基礎として,非定常オンライン手法に非自明なツイストを必要とする。
論文 参考訳(メタデータ) (2023-09-16T07:30:12Z) - Improved Online Conformal Prediction via Strongly Adaptive Online
Learning [86.4346936885507]
我々は、強い適応的後悔を最小限に抑える新しいオンライン共形予測手法を開発した。
提案手法は,すべての区間において,ほぼ最適に適応的な後悔を同時に達成できることを実証する。
実験により,本手法は実世界のタスクにおける既存の手法よりも,より優れたカバレッジと予測セットが得られることがわかった。
論文 参考訳(メタデータ) (2023-02-15T18:59:30Z) - Smoothed Online Learning for Prediction in Piecewise Affine Systems [54.98643421343919]
本稿では,最近開発されたスムーズなオンライン学習フレームワークに基づく。
これは、断片的なアフィン系における予測とシミュレーションのための最初のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-01-26T15:54:14Z) - Efficient Online Learning with Memory via Frank-Wolfe Optimization:
Algorithms with Bounded Dynamic Regret and Applications to Control [15.588080817106563]
動的後悔を最小限に抑えるメモリ付きプロジェクションフリーなメタベース学習アルゴリズムを提案する。
私たちは、自律的なエージェントが時間によって変化する環境に適応する必要がある人工知能アプリケーションによって動機付けられています。
論文 参考訳(メタデータ) (2023-01-02T01:12:29Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳(メタデータ) (2022-03-19T13:39:49Z) - Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。
古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
論文 参考訳(メタデータ) (2022-02-09T19:22:34Z) - Neural Non-Rigid Tracking [26.41847163649205]
我々は、新しい、エンドツーエンドの学習可能、差別化可能な非剛性トラッカーを導入する。
我々は畳み込みニューラルネットワークを用いて、密度の高い通信とその信頼性を予測する。
現状の手法と比較して,提案アルゴリズムは再構築性能の向上を示す。
論文 参考訳(メタデータ) (2020-06-23T18:00:39Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - A Modern Introduction to Online Learning [15.974402990630402]
オンライン学習(オンライン学習)とは、最悪の場合における後悔の最小化の枠組みを指す。
凸損失を伴うオンライン学習のための一階と二階のアルゴリズムを提示する。
論文 参考訳(メタデータ) (2019-12-31T08:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。