論文の概要: A Unified Meta-Learning Framework for Dynamic Transfer Learning

• arxiv url: http://arxiv.org/abs/2207.01784v1
• Date: Tue, 5 Jul 2022 02:56:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 15:29:37.307005
• Title: A Unified Meta-Learning Framework for Dynamic Transfer Learning
• Title（参考訳）: 動的転送学習のための統一メタラーニングフレームワーク
• Authors: Jun Wu, Jingrui He
• Abstract要約: 動的タスクにおける知識伝達可能性のモデリングのための汎用メタ学習フレームワークL2Eを提案する。 L2E は,(1) 動的タスク間の効果的な知識伝達可能性,(2) 新しい目標タスクへの迅速な適応,(3) 歴史的目標タスクに対する破滅的な忘れの軽減,(4) 既存の静的移動学習アルゴリズムを取り入れた柔軟性,といった特性を享受している。
• 参考スコア（独自算出の注目度）: 42.34180707803632
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transfer learning refers to the transfer of knowledge or information from a relevant source task to a target task. However, most existing works assume both tasks are sampled from a stationary task distribution, thereby leading to the sub-optimal performance for dynamic tasks drawn from a non-stationary task distribution in real scenarios. To bridge this gap, in this paper, we study a more realistic and challenging transfer learning setting with dynamic tasks, i.e., source and target tasks are continuously evolving over time. We theoretically show that the expected error on the dynamic target task can be tightly bounded in terms of source knowledge and consecutive distribution discrepancy across tasks. This result motivates us to propose a generic meta-learning framework L2E for modeling the knowledge transferability on dynamic tasks. It is centered around a task-guided meta-learning problem with a group of meta-pairs of tasks, based on which we are able to learn the prior model initialization for fast adaptation on the newest target task. L2E enjoys the following properties: (1) effective knowledge transferability across dynamic tasks; (2) fast adaptation to the new target task; (3) mitigation of catastrophic forgetting on historical target tasks; and (4) flexibility in incorporating any existing static transfer learning algorithms. Extensive experiments on various image data sets demonstrate the effectiveness of the proposed L2E framework.
• Abstract（参考訳）: トランスファーラーニング(Transfer learning)とは、関連するソースタスクからターゲットタスクへの知識や情報の転送を指す。 しかし、既存の作品の多くは、両方のタスクが定常タスク分布からサンプリングされていると仮定しており、実際のシナリオで非定常タスク分布から引き出される動的タスクの最適性能に繋がる。 このギャップを埋めるために、本稿では、動的タスクを用いたより現実的で挑戦的なトランスファー学習環境、すなわちソースタスクとターゲットタスクが時間とともに継続的に進化していることを研究する。 理論的には、動的対象タスクの期待誤差は、ソース知識とタスク間の連続分布の不一致という観点で密に境界づけることができることを示す。 この結果から,動的タスクにおける知識伝達可能性をモデル化する汎用メタ学習フレームワーク L2E を提案する。 タスクのメタペアによるタスク誘導型メタラーニング問題を中心に,最新のターゲットタスクへの高速適応のための事前モデル初期化を学習する。 L2E は,(1) 動的タスク間の効果的な知識伝達可能性,(2) 新しい目標タスクへの迅速な適応,(3) 歴史的目標タスクに対する破滅的忘れの軽減,(4) 既存の静的移動学習アルゴリズムを取り入れた柔軟性を享受する。 様々な画像データセットに対する大規模な実験により,提案したL2Eフレームワークの有効性が示された。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• Understanding the Transferability of Representations via Task-Relatedness [8.425690424016986]
  本稿では,事前学習したモデルの下流タスクへの表現の伝達可能性について,その参照タスクとの関連性の観点から分析する。 最先端の事前学習モデルを用いた実験は、様々な視覚や言語タスクにおける伝達可能性の説明におけるタスク関連性の有効性を示す。
  論文  参考訳（メタデータ） (2023-07-03T08:06:22Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。 近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。 本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
  論文  参考訳（メタデータ） (2021-07-19T11:46:28Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。