論文の概要: Learning Complex Teamwork Tasks using a Sub-task Curriculum

• arxiv url: http://arxiv.org/abs/2302.04944v1
• Date: Thu, 9 Feb 2023 21:24:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 17:16:20.117162
• Title: Learning Complex Teamwork Tasks using a Sub-task Curriculum
• Title（参考訳）: サブタスクカリキュラムを用いた複雑なチームワークタスクの学習
• Authors: Elliot Fosong, Arrasy Rahman, Ignacio Carlucho, Stefano V. Albrecht
• Abstract要約: 本稿では,よりシンプルなマルチエージェント・サブタスクのエキスパートによるカリキュラムを利用するアプローチを提案する。 カリキュラムの各サブタスクでは、チーム全体のサブセットが、サブタスク固有のポリシーを取得するように訓練されています。 サブチームはマージされ、ターゲットタスクに転送される。そこでは、より複雑なターゲットタスクを解決するために、そのポリシーをまとめて調整する。
• 参考スコア（独自算出の注目度）: 6.940758395823777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a team to complete a complex task via multi-agent reinforcement learning can be difficult due to challenges such as policy search in a large policy space, and non-stationarity caused by mutually adapting agents. To facilitate efficient learning of complex multi-agent tasks, we propose an approach which uses an expert-provided curriculum of simpler multi-agent sub-tasks. In each sub-task of the curriculum, a subset of the entire team is trained to acquire sub-task-specific policies. The sub-teams are then merged and transferred to the target task, where their policies are collectively fined tuned to solve the more complex target task. We present MEDoE, a flexible method which identifies situations in the target task where each agent can use its sub-task-specific skills, and uses this information to modulate hyperparameters for learning and exploration during the fine-tuning process. We compare MEDoE to multi-agent reinforcement learning baselines that train from scratch in the full task, and with na\"ive applications of standard multi-agent reinforcement learning techniques for fine-tuning. We show that MEDoE outperforms baselines which train from scratch or use na\"ive fine-tuning approaches, requiring significantly fewer total training timesteps to solve a range of complex teamwork tasks.
• Abstract（参考訳）: 大規模政策空間における政策探索や,相互適応エージェントによる非定常性といった課題のために,多エージェント強化学習を通じて複雑なタスクを遂行するチームを訓練することは困難である。 複雑なマルチエージェントタスクの効率的な学習を容易にするために,より単純なマルチエージェントサブタスクのエキスパートによるカリキュラムを用いた手法を提案する。 カリキュラムの各サブタスクにおいて、チーム全体のサブセットは、サブタスク固有のポリシーを取得するように訓練されます。 サブチームはマージされ、ターゲットタスクに転送される。そこでは、より複雑なターゲットタスクを解決するために、そのポリシーをまとめて調整する。 本稿では,各エージェントがサブタスク固有のスキルを利用できる目標タスクの状況を特定するフレキシブルな方法であるMEDoEについて述べる。 我々は, MEDoE とマルチエージェント強化学習ベースラインを比較して, タスクのスクラッチからトレーニングし, 標準的なマルチエージェント強化学習技術のna\" を微調整に応用した。 MEDoEは、スクラッチからトレーニングするか、あるいはna\を多用したベースラインよりも優れており、様々な複雑なチームワークタスクを解決するために、トレーニング時間を大幅に削減する必要がある。

関連論文リスト

• Heterogeneous Graph Reinforcement Learning for Dependency-aware Multi-task Allocation in Spatial Crowdsourcing [33.915222518617085]
  本稿では,依存性を考慮したマルチタスクアロケーション(DMA)の問題点を公式に検討する。 Heterogeneous Graph Reinforcement Learning-based Task Allocation (HGRL-TA)として知られる、それを解決するためのよく設計されたフレームワークを提供する。 実験結果は、提案されたHGRL-TAのDMA問題を解決する効果と一般性を示し、メタヒューリスティック法を用いて達成したよりも21.78%高い平均利益をもたらす。
  論文  参考訳（メタデータ） (2024-10-20T17:00:45Z)
• Variational Offline Multi-agent Skill Discovery [43.869625428099425]
  本稿では,サブグループレベルの抽象化と時間レベルの抽象化を同時に取得し,マルチエージェントスキルを形成するための2つの新しい自動エンコーダ方式を提案する。 提案手法はオフラインのマルチタスクデータに適用可能であり,検出したサブグループスキルは再トレーニングすることなく,関連するタスク間で伝達可能である。
  論文  参考訳（メタデータ） (2024-05-26T00:24:46Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• Robust Subtask Learning for Compositional Generalization [20.54144051436337]
  我々は、どんなタスクでも実行できるように、サブタスクポリシーをトレーニングする問題に焦点を合わせます。 我々は、平均的なケースのパフォーマンスとは対照的に、すべてのタスクで最悪のケースのパフォーマンスを最大化することを目指している。
  論文  参考訳（メタデータ） (2023-02-06T18:19:25Z)
• Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
  本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:28:20Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。