論文の概要: TIMRL: A Novel Meta-Reinforcement Learning Framework for Non-Stationary and Multi-Task Environments

• arxiv url: http://arxiv.org/abs/2501.07146v1
• Date: Mon, 13 Jan 2025 09:11:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:27:49.727169
• Title: TIMRL: A Novel Meta-Reinforcement Learning Framework for Non-Stationary and Multi-Task Environments
• Title（参考訳）: TIMRL:非定常・マルチタスク環境のための新しいメタ強化学習フレームワーク
• Authors: Chenyang Qi, Huiping Li, Panfeng Huang,
• Abstract要約: 本稿では,ガウス混合モデルと変圧器ネットワークを利用したメタ強化学習手法を提案する。 タスクの分類はトランスフォーマーネットワークを介して符号化され、タスクに対応するガウス成分を決定する。 実験の結果,提案手法は試料の効率を劇的に改善し,タスクの分類を正確に認識することがわかった。
• 参考スコア（独自算出の注目度）: 6.941538672757626
• License:
• Abstract: In recent years, meta-reinforcement learning (meta-RL) algorithm has been proposed to improve sample efficiency in the field of decision-making and control, enabling agents to learn new knowledge from a small number of samples. However, most research uses the Gaussian distribution to extract task representation, which is poorly adapted to tasks that change in non-stationary environment. To address this problem, we propose a novel meta-reinforcement learning method by leveraging Gaussian mixture model and the transformer network to construct task inference model. The Gaussian mixture model is utilized to extend the task representation and conduct explicit encoding of tasks. Specifically, the classification of tasks is encoded through transformer network to determine the Gaussian component corresponding to the task. By leveraging task labels, the transformer network is trained using supervised learning. We validate our method on MuJoCo benchmarks with non-stationary and multi-task environments. Experimental results demonstrate that the proposed method dramatically improves sample efficiency and accurately recognizes the classification of the tasks, while performing excellently in the environment.
• Abstract（参考訳）: 近年、メタ強化学習(meta-RL)アルゴリズムは、意思決定と制御の分野でサンプル効率を向上させるために提案されており、エージェントは少数のサンプルから新しい知識を学習することができる。 しかし、ほとんどの研究はガウス分布を用いてタスク表現を抽出するが、これは非定常環境におけるタスクに不適応である。 この問題に対処するために,ガウス混合モデルと変圧器ネットワークを利用してタスク推論モデルを構築するメタ強化学習手法を提案する。 ガウス混合モデルを用いてタスク表現を拡張し、タスクの明示的なエンコーディングを行う。 具体的には、タスクの分類をトランスフォーマーネットワークを介して符号化し、タスクに対応するガウス成分を決定する。 タスクラベルを活用することで、トランスフォーマーネットワークは教師付き学習を用いて訓練される。 非定常およびマルチタスク環境の MuJoCo ベンチマークにおいて,本手法の有効性を検証した。 実験結果から,提案手法は試料の効率を劇的に改善し,タスクの分類を正確に認識し,環境に優れた性能を発揮することが示された。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Multi-Environment Meta-Learning in Stochastic Linear Bandits [49.387421094105136]
  単一環境ではなく混合分布からタスクパラメータを引き出す場合のメタ学習の可能性を検討する。 我々は,新しいタスクが発する環境の知識を必要とせずに,新しいタスクに対する後悔度を低く抑えるOFULアルゴリズムの正規化バージョンを提案する。
  論文  参考訳（メタデータ） (2022-05-12T19:31:28Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Transfer Bayesian Meta-learning via Weighted Free Energy Minimization [37.51664463278401]
  重要な前提は、メタトレーニングタスクとして知られる補助タスクが、デプロイ時に遭遇するタスクと同じ生成分布を共有することである。 本稿では,トランスファーメタラーニングのための重み付き自由エネルギー最小化(WFEM)を提案する。
  論文  参考訳（メタデータ） (2021-06-20T15:17:51Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。