論文の概要: Algorithm Design for Online Meta-Learning with Task Boundary Detection

• arxiv url: http://arxiv.org/abs/2302.00857v2
• Date: Mon, 5 Aug 2024 01:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 00:54:45.374000
• Title: Algorithm Design for Online Meta-Learning with Task Boundary Detection
• Title（参考訳）: タスク境界検出によるオンラインメタ学習のためのアルゴリズム設計
• Authors: Daouda Sow, Sen Lin, Yingbin Liang, Junshan Zhang,
• Abstract要約: 非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。 軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 63.284263611646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online meta-learning has recently emerged as a marriage between batch meta-learning and online learning, for achieving the capability of quick adaptation on new tasks in a lifelong manner. However, most existing approaches focus on the restrictive setting where the distribution of the online tasks remains fixed with known task boundaries. In this work, we relax these assumptions and propose a novel algorithm for task-agnostic online meta-learning in non-stationary environments. More specifically, we first propose two simple but effective detection mechanisms of task switches and distribution shift based on empirical observations, which serve as a key building block for more elegant online model updates in our algorithm: the task switch detection mechanism allows reusing of the best model available for the current task at hand, and the distribution shift detection mechanism differentiates the meta model update in order to preserve the knowledge for in-distribution tasks and quickly learn the new knowledge for out-of-distribution tasks. In particular, our online meta model updates are based only on the current data, which eliminates the need of storing previous data as required in most existing methods. We further show that a sublinear task-averaged regret can be achieved for our algorithm under mild conditions. Empirical studies on three different benchmarks clearly demonstrate the significant advantage of our algorithm over related baseline approaches.
• Abstract（参考訳）: オンラインメタラーニングは、最近、バッチメタラーニングとオンラインラーニングの結婚として登場し、新しいタスクへの迅速な適応を生涯にわたって達成している。 しかし、既存のほとんどのアプローチは、オンラインタスクの分布が既知のタスク境界で固定されたままであるような制限的な設定に重点を置いている。 本研究では,これらの仮定を緩和し,非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 より具体的には,本アルゴリズムでは,タスクスイッチ検出機構により,現在のタスクに最適なモデルの再使用が可能であり,分散シフト検出機構がメタモデル更新を差別化することにより,配布中のタスクの知識を保存し,配布外タスクの新しい知識を迅速に学習する。 特に、オンラインのメタモデル更新は、現在のデータのみに基づいており、既存のほとんどのメソッドで必要とされるように、以前のデータを保存する必要がなくなる。 さらに, 軽度条件下では, アルゴリズムに対して, サブ線形なタスク平均的後悔が達成可能であることを示す。 3つの異なるベンチマークに関する実証研究は、我々のアルゴリズムが関連するベースラインアプローチよりも優れていることを明らかに示している。

関連論文リスト

• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• MALIBO: Meta-learning for Likelihood-free Bayesian Optimization [11.097684270692355]
  本稿では,サロゲートモデルをバイパスし,タスク間のクエリの有用性を直接学習するメタラーニングBO手法を提案する。 本手法は,タスクの不確実性を明示的にモデル化し,新しいタスクへのロバスト適応を可能にする補助モデルを含む。 提案手法は, 常に高い性能を示し, 様々なベンチマークにおいて, 最先端のメタラーニングBO法より優れた性能を示す。
  論文  参考訳（メタデータ） (2023-07-07T12:57:10Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
  非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。 分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
  論文  参考訳（メタデータ） (2021-11-02T01:50:09Z)
• A Channel Coding Benchmark for Meta-Learning [21.2424398453955]
  メタラーニングにおけるいくつかの重要な問題は、これまでのところ研究が困難であることが証明されている。 メタ学習のベンチマークとしてチャネル符号化問題を提案する。 このベンチマークは、コミュニティがメタ学習の能力と限界を研究するためのツールを提供する。
  論文  参考訳（メタデータ） (2021-07-15T19:37:43Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• Submodular Meta-Learning [43.15332631500541]
  将来的なタスクのパフォーマンス向上のために,メタラーニングフレームワークの個別版を導入する。 我々のアプローチは、事前データ、すなわち、以前に訪れたタスクを使用して、適切な初期ソリューションセットをトレーニングすることを目的としている。 我々のフレームワークは、性能損失を小さく抑えながら、新しいタスクを解く際に、計算の複雑さを著しく低減させることを示した。
  論文  参考訳（メタデータ） (2020-07-11T21:02:48Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。