論文の概要: Meta-learning the Learning Trends Shared Across Tasks

• arxiv url: http://arxiv.org/abs/2010.09291v1
• Date: Mon, 19 Oct 2020 08:06:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:10:05.948938
• Title: Meta-learning the Learning Trends Shared Across Tasks
• Title（参考訳）: タスク間で共有される学習トレンドのメタラーニング
• Authors: Jathushan Rajasegaran, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Mubarak Shah
• Abstract要約: グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 123.10294801296926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning stands for 'learning to learn' such that generalization to new tasks is achieved. Among these methods, Gradient-based meta-learning algorithms are a specific sub-class that excel at quick adaptation to new tasks with limited data. This demonstrates their ability to acquire transferable knowledge, a capability that is central to human learning. However, the existing meta-learning approaches only depend on the current task information during the adaptation, and do not share the meta-knowledge of how a similar task has been adapted before. To address this gap, we propose a 'Path-aware' model-agnostic meta-learning approach. Specifically, our approach not only learns a good initialization for adaptation, it also learns an optimal way to adapt these parameters to a set of task-specific parameters, with learnable update directions, learning rates and, most importantly, the way updates evolve over different time-steps. Compared to the existing meta-learning methods, our approach offers: (a) The ability to learn gradient-preconditioning at different time-steps of the inner-loop, thereby modeling the dynamic learning behavior shared across tasks, and (b) The capability of aggregating the learning context through the provision of direct gradient-skip connections from the old time-steps, thus avoiding overfitting and improving generalization. In essence, our approach not only learns a transferable initialization, but also models the optimal update directions, learning rates, and task-specific learning trends. Specifically, in terms of learning trends, our approach determines the way update directions shape up as the task-specific learning progresses and how the previous update history helps in the current update. Our approach is simple to implement and demonstrates faster convergence. We report significant performance improvements on a number of FSL datasets.
• Abstract（参考訳）: メタラーニング(meta-learning)とは、新しいタスクへの一般化が達成される「学習する」という意味である。 これらの手法のうち、勾配に基づくメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応できる特定のサブクラスである。 これは、人間学習の中心的な能力である移譲可能な知識を得る能力を示している。 しかし、既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存しており、類似したタスクが以前どのように適応されたかのメタ知識を共有していない。 このギャップに対処するために,モデル非依存なメタラーニング手法を提案する。 特に、我々のアプローチは、適応のための適切な初期化を学ぶだけでなく、これらのパラメータをタスク固有のパラメータのセットに適応させる最適な方法を学びます。 既存のメタ学習手法と比較して、我々のアプローチは下記のとおりです。 (a)内ループの異なる時間ステップで勾配調整を学習し、タスク間で共有される動的学習動作をモデル化する能力、 b) 学習コンテキストの集約は,従来の段階から直交する勾配スキップ接続を提供することにより,過度な適合や一般化の改善を回避できる。 基本的に,本手法は移動可能な初期化を学習するだけでなく,最適な更新方向,学習率,タスク固有の学習傾向をモデル化する。 特に、学習トレンドの観点からは、タスク固有の学習が進むにつれて方向が変わる方法と、これまでの更新履歴が現在の更新にどのように役立つかを決定します。 我々のアプローチは実装が簡単で、より高速な収束を示します。 FSLデータセットの大幅な性能向上を報告した。

関連論文リスト

• Learning to Learn without Forgetting using Attention [5.6739565497512405]
  継続学習(きゅうがく、Continuous Learning, CL)とは、学習経験を維持しつつ、新たな知識を付加することで、時間とともに継続的に学習する能力である。 現在の機械学習手法は、以前に学んだパターンを上書きし、過去の経験を忘れやすい。 手作りの効果的な更新機構は難しいため,変圧器をベースとしたメタラーニングによるCLの強化を提案する。
  論文  参考訳（メタデータ） (2024-08-06T14:25:23Z)
• Meta-Learning and representation learner: A short theoretical note [0.0]
  メタ学習は機械学習のサブフィールドであり、目標は様々なタスクから学習できるモデルとアルゴリズムを開発することである。 特定のタスクを学習することに焦点を当てた従来の機械学習手法とは異なり、メタラーニングは、過去のタスクからの経験を活用して将来の学習を強化することを目的としている。
  論文  参考訳（メタデータ） (2024-07-04T23:47:10Z)
• Algorithm Design for Online Meta-Learning with Task Boundary Detection [63.284263611646]
  非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。 軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T04:02:49Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Dynamic Regret Analysis for Online Meta-Learning [0.0]
  オンラインメタ学習フレームワークは、継続的な生涯学習設定のための強力なツールとして生まれてきた。 この定式化には、メタラーナーを学ぶ外部レベルと、タスク固有のモデルを学ぶ内部レベルという2つのレベルが含まれる。 グローバルな予測から環境の変化を扱う動的な後悔という観点から、パフォーマンスを確立します。 本稿では,本分析を1つの設定で実施し,各イテレーションの総数に依存する局所的局所的後悔の対数論的証明を期待する。
  論文  参考訳（メタデータ） (2021-09-29T12:12:59Z)
• META-Learning Eligibility Traces for More Sample Efficient Temporal Difference Learning [2.0559497209595823]
  そこで本稿では,状態依存的な方法で,可視性トレースパラメータを調整するためのメタラーニング手法を提案する。 この適応は、更新対象の分布情報をオンラインで学習する補助学習者の助けを借りて達成される。 提案手法は,いくつかの前提条件下では,全体の目標誤差を最小限に抑えて,更新対象の全体的な品質を改善する。
  論文  参考訳（メタデータ） (2020-06-16T03:41:07Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。