論文の概要: Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2509.20766v2
• Date: Mon, 29 Sep 2025 00:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 14:13:47.626096
• Title: Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning
• Title（参考訳）: マルチタスク強化学習のための時間拡張行動共有の活用
• Authors: Gawon Lee, Daesol Cho, H. Jin Kim,
• Abstract要約: マルチタスク強化学習(MTRL)は、サンプル効率を改善するための有望なアプローチを提供する。 多様なタスクデータを収集するコストが高いため、MTRLをロボット工学に適用することは依然として困難である。 MTRL環境における試料効率を向上させる新しい探索手法MT-L'evyを提案する。
• 参考スコア（独自算出の注目度）: 24.95250207680073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task reinforcement learning (MTRL) offers a promising approach to improve sample efficiency and generalization by training agents across multiple tasks, enabling knowledge sharing between them. However, applying MTRL to robotics remains challenging due to the high cost of collecting diverse task data. To address this, we propose MT-L\'evy, a novel exploration strategy that enhances sample efficiency in MTRL environments by combining behavior sharing across tasks with temporally extended exploration inspired by L\'evy flight. MT-L\'evy leverages policies trained on related tasks to guide exploration towards key states, while dynamically adjusting exploration levels based on task success ratios. This approach enables more efficient state-space coverage, even in complex robotics environments. Empirical results demonstrate that MT-L\'evy significantly improves exploration and sample efficiency, supported by quantitative and qualitative analyses. Ablation studies further highlight the contribution of each component, showing that combining behavior sharing with adaptive exploration strategies can significantly improve the practicality of MTRL in robotics applications.
• Abstract（参考訳）: マルチタスク強化学習(MTRL)は、複数のタスクにわたるトレーニングエージェントによるサンプル効率と一般化を改善し、それらの間の知識共有を可能にする、有望なアプローチを提供する。 しかし、多様なタスクデータを収集するコストが高いため、MTRLをロボット工学に適用することは依然として困難である。 MT-L'evyは,タスク間の行動共有とL'evy飛行にインスパイアされた時間的拡張探索を組み合わせることで,MTRL環境におけるサンプル効率を向上させる新しい探索戦略である。 MT-L'evyは、関連するタスクで訓練されたポリシーを活用して、主要な状態への探索をガイドし、タスクの成功率に基づいて探索レベルを動的に調整する。 このアプローチは、複雑なロボティクス環境であっても、より効率的な状態空間カバレッジを可能にする。 実験の結果,MT-L\'evyは定量および定性的分析によって支持される探索と試料の効率を著しく改善することが示された。 アブレーション研究は、各コンポーネントの貢献をさらに強調し、ロボット工学応用における行動共有と適応探索戦略を組み合わせることで、MTRLの実用性を大幅に向上させることができることを示した。

関連論文リスト

• Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning [27.472039054277644]
  Rep-MTLは、タスク固有の最適化と共有表現学習の間の相互作用を定量化するために、表現レベルタスクの相性を利用する。 Rep-MTLは、純粋なコンフリクト解決ではなく、個々のタスクの効果的なトレーニングを維持することで、ネガティブトランスファーを軽減することを目的としている。
  論文  参考訳（メタデータ） (2025-07-28T17:59:28Z)
• Novelty-Guided Data Reuse for Efficient and Diversified Multi-Agent Reinforcement Learning [7.36961322800571]
  深層多エージェント強化学習(MARL)は、複雑な協調作業に取り組む可能性を実証している。 本稿では,観察の新規性に基づいてポリシー更新を動的に調整する新しいサンプル再利用手法を提案する。 MANGER(Multi-Agent Novelty-GuidEd sample Reuse)と名付けた。
  論文  参考訳（メタデータ） (2024-12-20T03:09:18Z)
• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• Logical Specifications-guided Dynamic Task Sampling for Reinforcement Learning Agents [9.529492371336286]
  強化学習(Reinforcement Learning、RL)は、人工エージェントが多様な振る舞いを学習できるようにするために大きな進歩を遂げてきた。 論理仕様誘導動的タスクサンプリング(LSTS)と呼ばれる新しい手法を提案する。 LSTSは、エージェントを初期状態から目標状態へ誘導するRLポリシーのセットを、ハイレベルなタスク仕様に基づいて学習する。
  論文  参考訳（メタデータ） (2024-02-06T04:00:21Z)
• Provable Benefits of Multi-task RL under Non-Markovian Decision Making Processes [56.714690083118406]
  マルコフ決定過程 (MDP) 下でのマルチタスク強化学習 (RL) において, 共有潜在構造の存在は, シングルタスクRLと比較して, サンプル効率に有意な利益をもたらすことが示されている。 このような利点が、部分的に観測可能なMDP(POMDP)やより一般的な予測状態表現(PSR)といった、より一般的なシーケンシャルな意思決定問題にまで拡張できるかどうかを検討する。 提案手法は,全てのPSRに対してほぼ最適ポリシーを求めるための,証明可能なアルゴリズム UMT-PSR を提案し,PSR の合同モデルクラスが有するマルチタスク学習の利点が示されることを示す。
  論文  参考訳（メタデータ） (2023-10-20T14:50:28Z)
• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• QMP: Q-switch Mixture of Policies for Multi-Task Behavior Sharing [18.127823952220123]
  マルチタスク強化学習(MTRL)は、複数のタスクを同時に学習してサンプル効率を向上させることを目的としている。 本稿では,既存のMTRLメソッドに加えて,タスク間での行動ポリシーを共有するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-01T18:58:20Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• Skill-based Meta-Reinforcement Learning [65.31995608339962]
  本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。 私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
  論文  参考訳（メタデータ） (2022-04-25T17:58:19Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。