論文の概要: Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2509.20766v1
• Date: Thu, 25 Sep 2025 05:46:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.710631
• Title: Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning
• Title（参考訳）: マルチタスク強化学習のための時間拡張行動共有の活用
• Authors: Gawon Lee, Daesol Cho, H. Jin Kim,
• Abstract要約: マルチタスク強化学習(MTRL)は、サンプル効率を改善するための有望なアプローチを提供する。 多様なタスクデータを収集するコストが高いため、MTRLをロボット工学に適用することは依然として困難である。 MTRL環境における試料効率を向上させる新しい探索手法MT-L'evyを提案する。
• 参考スコア（独自算出の注目度）: 24.95250207680073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task reinforcement learning (MTRL) offers a promising approach to improve sample efficiency and generalization by training agents across multiple tasks, enabling knowledge sharing between them. However, applying MTRL to robotics remains challenging due to the high cost of collecting diverse task data. To address this, we propose MT-L\'evy, a novel exploration strategy that enhances sample efficiency in MTRL environments by combining behavior sharing across tasks with temporally extended exploration inspired by L\'evy flight. MT-L\'evy leverages policies trained on related tasks to guide exploration towards key states, while dynamically adjusting exploration levels based on task success ratios. This approach enables more efficient state-space coverage, even in complex robotics environments. Empirical results demonstrate that MT-L\'evy significantly improves exploration and sample efficiency, supported by quantitative and qualitative analyses. Ablation studies further highlight the contribution of each component, showing that combining behavior sharing with adaptive exploration strategies can significantly improve the practicality of MTRL in robotics applications.
• Abstract（参考訳）: マルチタスク強化学習(MTRL)は、複数のタスクにわたるトレーニングエージェントによるサンプル効率と一般化を改善し、それらの間の知識共有を可能にする、有望なアプローチを提供する。 しかし、多様なタスクデータを収集するコストが高いため、MTRLをロボット工学に適用することは依然として困難である。 MT-L'evyは,タスク間の行動共有とL'evy飛行にインスパイアされた時間的拡張探索を組み合わせることで,MTRL環境におけるサンプル効率を向上させる新しい探索戦略である。 MT-L'evyは、関連するタスクで訓練されたポリシーを活用して、主要な状態への探索をガイドし、タスクの成功率に基づいて探索レベルを動的に調整する。 このアプローチは、複雑なロボティクス環境であっても、より効率的な状態空間カバレッジを可能にする。 実験の結果,MT-L\'evyは定量および定性的分析によって支持される探索と試料の効率を著しく改善することが示された。 アブレーション研究は、各コンポーネントの貢献をさらに強調し、ロボット工学応用における行動共有と適応探索戦略を組み合わせることで、MTRLの実用性を大幅に向上させることができることを示した。

関連論文リスト

• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• Provable Benefits of Multi-task RL under Non-Markovian Decision Making Processes [56.714690083118406]
  マルコフ決定過程 (MDP) 下でのマルチタスク強化学習 (RL) において, 共有潜在構造の存在は, シングルタスクRLと比較して, サンプル効率に有意な利益をもたらすことが示されている。 このような利点が、部分的に観測可能なMDP(POMDP)やより一般的な予測状態表現(PSR)といった、より一般的なシーケンシャルな意思決定問題にまで拡張できるかどうかを検討する。 提案手法は,全てのPSRに対してほぼ最適ポリシーを求めるための,証明可能なアルゴリズム UMT-PSR を提案し,PSR の合同モデルクラスが有するマルチタスク学習の利点が示されることを示す。
  論文  参考訳（メタデータ） (2023-10-20T14:50:28Z)
• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• QMP: Q-switch Mixture of Policies for Multi-Task Behavior Sharing [18.127823952220123]
  マルチタスク強化学習(MTRL)は、複数のタスクを同時に学習してサンプル効率を向上させることを目的としている。 本稿では,既存のMTRLメソッドに加えて,タスク間での行動ポリシーを共有するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-01T18:58:20Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。