論文の概要: Learning Task Embeddings for Teamwork Adaptation in Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2207.02249v2
• Date: Mon, 20 Nov 2023 17:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 20:58:56.900934
• Title: Learning Task Embeddings for Teamwork Adaptation in Multi-Agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習におけるチームワーク適応のための学習タスク埋め込み
• Authors: Lukas Sch\"afer, Filippos Christianos, Amos Storkey, Stefano V. Albrecht
• Abstract要約: エージェントのチームは,タスク埋め込みを備えた場合,新しいタスクに適応できることを示す。 我々は、独立MATE、集中MATE、混合MATEの3つのMATE訓練パラダイムを提案する。 MATEが学習した埋め込みはタスクを識別し、新しいタスクへの適応中にエージェントが活用する有用な情報を提供する。
• 参考スコア（独自算出の注目度）: 13.468555224407764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Successful deployment of multi-agent reinforcement learning often requires agents to adapt their behaviour. In this work, we discuss the problem of teamwork adaptation in which a team of agents needs to adapt their policies to solve novel tasks with limited fine-tuning. Motivated by the intuition that agents need to be able to identify and distinguish tasks in order to adapt their behaviour to the current task, we propose to learn multi-agent task embeddings (MATE). These task embeddings are trained using an encoder-decoder architecture optimised for reconstruction of the transition and reward functions which uniquely identify tasks. We show that a team of agents is able to adapt to novel tasks when provided with task embeddings. We propose three MATE training paradigms: independent MATE, centralised MATE, and mixed MATE which vary in the information used for the task encoding. We show that the embeddings learned by MATE identify tasks and provide useful information which agents leverage during adaptation to novel tasks.
• Abstract（参考訳）: マルチエージェント強化学習を成功させるには,エージェントが行動に適応する必要がある場合が多い。 本稿では,エージェントのチームが,新しいタスクを微調整して解決するための方針を適応させる必要があるチームワーク適応の問題について議論する。 エージェントはタスクの動作を現在のタスクに適応させるためにタスクを識別し識別する必要があるという直感から、マルチエージェントタスクの埋め込み(MATE)を学ぶことを提案する。 これらのタスク埋め込みは、タスクを一意に識別するトランジッションと報酬関数の再構築に最適化されたエンコーダ-デコーダアーキテクチャを使って訓練される。 エージェントのチームは、タスク埋め込みが提供されたとき、新しいタスクに適応できることを示します。 本稿では,タスクエンコーディングに使用する情報によって異なる,独立したMATE,集中型MATE,混合MATEの3つの訓練パラダイムを提案する。 MATEが学習した埋め込みはタスクを特定し、新しいタスクへの適応中にエージェントが活用する有用な情報を提供する。

関連論文リスト

• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Language-guided Task Adaptation for Imitation Learning [40.1007184209417]
  本稿では,自然言語でコミュニケーションするタスク間の差異を指標として,関連するタスクのデモンストレーションからタスクを学習する,新たな設定を提案する。 提案した設定では、低労力の言語記述を提供することで、他のタスクからのデモを再利用することができ、エージェントエラーの修正にフィードバックを提供することもできる。
  論文  参考訳（メタデータ） (2023-01-24T00:56:43Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• Multi-Agent Policy Transfer via Task Relationship Modeling [28.421365805638953]
  我々は、タスク間の共通構造を発見し、活用し、より効率的な転送を試みる。 本稿では,タスクの共通空間として効果に基づくタスク表現を学習する。 その結果,提案手法は,学習した協調知識をいくつかのソースタスクの学習後に新しいタスクに伝達するのに役立つ。
  論文  参考訳（メタデータ） (2022-03-09T01:49:21Z)
• Behaviour-conditioned policies for cooperative reinforcement learning tasks [41.74498230885008]
  現実世界の様々なタスクにおいて、エージェントは未知のパートナーエージェントタイプと協力する必要がある。 深層強化学習モデルは、必要な機能を提供するためにトレーニングすることができるが、サンプルの非効率性と遅い学習に苦しむことが知られている。 本研究では,行動パターンの異なるエージェントの集団を合成的に生成する手法を提案する。 また、生成されたデータを効率的に利用し、メタ学習能力を得ることができるエージェントアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-10-04T09:16:41Z)
• Adaptive Procedural Task Generation for Hard-Exploration Problems [78.20918366839399]
  ハード探索問題における強化学習を容易にするために,適応手続きタスク生成(APT-Gen)を導入する。 私たちのアプローチの中心は、ブラックボックスの手続き生成モジュールを通じてパラメータ化されたタスク空間からタスクを作成することを学習するタスクジェネレータです。 学習進捗の直接指標がない場合のカリキュラム学習を可能にするために,生成したタスクにおけるエージェントのパフォーマンスと,対象タスクとの類似性をバランスさせてタスクジェネレータを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-07-01T09:38:51Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。