論文の概要: Discounted Adaptive Online Prediction

• arxiv url: http://arxiv.org/abs/2402.02720v1
• Date: Mon, 5 Feb 2024 04:29:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 17:45:46.668793
• Title: Discounted Adaptive Online Prediction
• Title（参考訳）: 割引アダプティブオンライン予測
• Authors: Zhiyu Zhang, David Bombara, Heng Yang
• Abstract要約: 適応型オンライン学習において,近年開発された手法を応用して,古典的な軽率な後悔の概念を再考する。 我々の主な成果は、損失シーケンスとコンパレータの両方の複雑さに適応する新しいアルゴリズムである。 オンラインコンフォメーション予測(オンラインコンフォメーション予測)という,定員決定を伴う下流のオンライン学習タスクを通じて,このようなメリットを実証する。
• 参考スコア（独自算出の注目度）: 6.2825062988372125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online learning is not always about memorizing everything. Since the future can be statistically very different from the past, a critical challenge is to gracefully forget the history while new data comes in. To formalize this intuition, we revisit the classical notion of discounted regret using recently developed techniques in adaptive online learning. Our main result is a new algorithm that adapts to the complexity of both the loss sequence and the comparator, improving the widespread non-adaptive algorithm - gradient descent with a constant learning rate. In particular, our theoretical guarantee does not require any structural assumption beyond convexity, and the algorithm is provably robust to suboptimal hyperparameter tuning. We further demonstrate such benefits through online conformal prediction, a downstream online learning task with set-membership decisions.
• Abstract（参考訳）: オンライン学習は、すべてを覚えることではない。 未来は統計的に過去と大きく異なる可能性があるため、新しいデータが入り込む間、歴史を優雅に忘れることが重要な課題である。 この直観を定式化するために,最近開発された適応型オンライン学習の手法を用いて,後悔の割引という古典的な概念を再検討する。 我々の主な成果は、損失シーケンスとコンパレータの両方の複雑さに適応する新しいアルゴリズムであり、一定の学習率で広範に非適応的なアルゴリズムである勾配降下を改善する。 特に、我々の理論的保証は凸性以上の構造的仮定を必要とせず、アルゴリズムは準最適ハイパーパラメータチューニングに確実に堅牢である。 さらに,オンラインコンフォメーション予測,セットメンバシップ決定のための下流オンライン学習タスクを通じて,このようなメリットを実証する。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Improving Adaptive Online Learning Using Refined Discretization [44.646191058243645]
  リプシッツ損失を伴う制約のないオンライン線形最適化について検討する。 インスタンス最適性の追求に動機づけられ,我々は新しいアルゴリズムを提案する。 これらの結果の中心は、オンライン学習に対する継続的な時間的アプローチである。
  論文  参考訳（メタデータ） (2023-09-27T21:54:52Z)
• Model-based Offline Imitation Learning with Non-expert Data [7.615595533111191]
  本稿では,最適条件と最適条件の両方で収集されたデータセットを活用する,スケーラブルなモデルベースオフライン模倣学習アルゴリズムフレームワークを提案する。 提案手法は, シミュレーションされた連続制御領域上での低データ構造における振舞いクローンよりも優れることを示す。
  論文  参考訳（メタデータ） (2022-06-11T13:08:08Z)
• Adaptive Fairness-Aware Online Meta-Learning for Changing Environments [29.073555722548956]
  公正を意識したオンライン学習フレームワークは、継続的な生涯学習環境のための強力なツールとして生まれてきた。 既存の手法は、データに対するi.i.dの仮定を多用し、フレームワークに静的な後悔の分析を提供する。 バイアス制御とモデル精度の両方で変化する環境に適応できる適応的公平性を考慮したオンラインメタ学習アルゴリズムであるFairSAOMLを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:29:38Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。