論文の概要: Directed-MAML: Meta Reinforcement Learning Algorithm with Task-directed Approximation

• arxiv url: http://arxiv.org/abs/2510.00212v1
• Date: Tue, 30 Sep 2025 19:42:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.227607
• Title: Directed-MAML: Meta Reinforcement Learning Algorithm with Task-directed Approximation
• Title（参考訳）: Directed-MAML:タスク指向近似を用いたメタ強化学習アルゴリズム
• Authors: Yang Zhang, Huiwen Yan, Mushuang Liu,
• Abstract要約: タスク指向メタRLアルゴリズムであるDirected-MAMLを提案する。 計算効率と収束速度において,Directed-MAMLがMAMLベースのベースラインを超えることを示す。
• 参考スコア（独自算出の注目度）: 6.105325395844168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-Agnostic Meta-Learning (MAML) is a versatile meta-learning framework applicable to both supervised learning and reinforcement learning (RL). However, applying MAML to meta-reinforcement learning (meta-RL) presents notable challenges. First, MAML relies on second-order gradient computations, leading to significant computational and memory overhead. Second, the nested structure of optimization increases the problem's complexity, making convergence to a global optimum more challenging. To overcome these limitations, we propose Directed-MAML, a novel task-directed meta-RL algorithm. Before the second-order gradient step, Directed-MAML applies an additional first-order task-directed approximation to estimate the effect of second-order gradients, thereby accelerating convergence to the optimum and reducing computational cost. Experimental results demonstrate that Directed-MAML surpasses MAML-based baselines in computational efficiency and convergence speed in the scenarios of CartPole-v1, LunarLander-v2 and two-vehicle intersection crossing. Furthermore, we show that task-directed approximation can be effectively integrated into other meta-learning algorithms, such as First-Order Model-Agnostic Meta-Learning (FOMAML) and Meta Stochastic Gradient Descent(Meta-SGD), yielding improved computational efficiency and convergence speed.
• Abstract（参考訳）: Model-Agnostic Meta-Learning (MAML)は、教師付き学習と強化学習(RL)の両方に適用できる汎用的なメタラーニングフレームワークである。 しかし,MAMLをメタ強化学習(meta-RL)に適用することは顕著な課題である。 第一に、MAMLは2階勾配計算に依存しており、計算とメモリのオーバーヘッドが大幅に増加する。 第二に、ネストされた最適化構造は問題の複雑さを増大させ、グローバルな最適化への収束をより困難にする。 これらの制約を克服するために,新しいタスク指向メタRLアルゴリズムであるDirected-MAMLを提案する。 2階勾配ステップの前に、Directed-MAMLは2階勾配の効果を推定するために、追加の1階タスク指向近似を適用し、最適化への収束を加速し、計算コストを削減した。 実験により,Directed-MAMLは,CartPole-v1,LunarLander-v2,二車交差交差点のシナリオにおいて,計算効率と収束速度においてMAMLベースラインを超えることを示した。 さらに、タスク指向近似は、FOMAML(First-Order Model-Agnostic Meta-Learning)やMeta Stochastic Gradient Descent(Meta-SGD)といった他のメタ学習アルゴリズムに効果的に統合でき、計算効率と収束速度が向上することを示した。

関連論文リスト

• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation [19.792537914018933]
  マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。 現代のメタ学習は、テストフェーズ中にラベルが限定された目に見えないタスクを可能にし、それらに対する迅速な適応を期待する。 MTLは、勾配に基づくメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有していることを示す。
  論文  参考訳（メタデータ） (2021-06-16T17:58:23Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)
• On the Convergence Theory of Debiased Model-Agnostic Meta-Reinforcement Learning [25.163423936635787]
  強化学習(RL)問題に対するモデル非依存メタラーニング(MAML)手法を検討する。 我々は,SG-MRL(Gradient Meta-Reinforcement Learning)と呼ばれるMAML手法の変種を提案する。 我々はSG-MRLの反復とサンプルの複雑さを導出して$ilon$-first-orderの定常点を求める。
  論文  参考訳（メタデータ） (2020-02-12T18:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。