論文の概要: Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2006.04222v3
• Date: Fri, 11 Jun 2021 18:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 07:10:30.824161
• Title: Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習のためのランダム化エンティティワイドファクタライゼーション
• Authors: Shariq Iqbal, Christian A. Schroeder de Witt, Bei Peng, Wendelin B\"ohmer, Shimon Whiteson, Fei Sha
• Abstract要約: 実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。 我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
• 参考スコア（独自算出の注目度）: 59.62721526353915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent settings in the real world often involve tasks with varying types and quantities of agents and non-agent entities; however, common patterns of behavior often emerge among these agents/entities. Our method aims to leverage these commonalities by asking the question: ``What is the expected utility of each agent when only considering a randomly selected sub-group of its observed entities?'' By posing this counterfactual question, we can recognize state-action trajectories within sub-groups of entities that we may have encountered in another task and use what we learned in that task to inform our prediction in the current one. We then reconstruct a prediction of the full returns as a combination of factors considering these disjoint groups of entities and train this ``randomly factorized" value function as an auxiliary objective for value-based multi-agent reinforcement learning. By doing so, our model can recognize and leverage similarities across tasks to improve learning efficiency in a multi-task setting. Our approach, Randomized Entity-wise Factorization for Imagined Learning (REFIL), outperforms all strong baselines by a significant margin in challenging multi-task StarCraft micromanagement settings.
• Abstract（参考訳）: 実世界のマルチエージェント設定では、エージェントの種類や量が異なるタスクや非エージェントエンティティを含むことが多いが、エージェント/エンティティ間で共通の振る舞いパターンが出現することが多い。 提案手法は,「観測対象エンティティのランダムに選択されたサブグループのみを考える場合,各エージェントが期待する有用性は何か?」という質問をすることで,これらの共通性を活用することを目的としている。 次に,これら異種エンティティ群を考慮した因子の組み合わせとして全リターンの予測を再構成し,価値ベースマルチエージェント強化学習の補助目的として,この`randomly factorized'値関数を訓練する。 これにより,タスク間の類似性を認識・活用し,マルチタスク環境での学習効率を向上させることができる。 我々のアプローチであるRandomized Entity-wise Factorization for Imagined Learning (REFIL)は、マルチタスクのStarCraftマイクロマネジメント設定に挑戦する上で、すべての強力なベースラインを上回っています。

関連論文リスト

• Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards [1.179778723980276]
  MARL(Multi-agent Reinforcement Learning)は、シーケンシャルな意思決定と制御タスクの鍵となるフレームワークである。 これらのシステムを現実のシナリオに展開するには、分散トレーニング、多様なエージェントセット、そして頻繁な環境報酬信号から学ぶ必要がある。 我々は,新しいグラフニューラルネットワーク(GNN)に基づく本質的なモチベーションを利用して,異種エージェントポリシーの学習を容易にするCoHetアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-12T21:38:40Z)
• Quantifying Agent Interaction in Multi-agent Reinforcement Learning for Cost-efficient Generalization [63.554226552130054]
  マルチエージェント強化学習(MARL)における一般化の課題 エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。 与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
  論文  参考訳（メタデータ） (2023-10-11T06:09:26Z)
• A Unified Framework for Factorizing Distributional Value Functions for Multi-Agent Reinforcement Learning [15.042567946390362]
  本稿では,分散 RL と値関数分解法を統合するための統合フレームワーク DFAC を提案する。 このフレームワークは、期待値関数の分解法を一般化し、戻り分布の分解を可能にする。
  論文  参考訳（メタデータ） (2023-06-04T18:26:25Z)
• On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring [105.13668993076801]
  マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。 本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。 マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T06:46:22Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Reward Machines for Cooperative Multi-Agent Reinforcement Learning [30.84689303706561]
  協調型マルチエージェント強化学習において、エージェントの集合は共通の目標を達成するために共有環境で対話することを学ぶ。 本稿では、報酬関数の構造化表現として使われる単純な機械である報酬機械(RM)を用いて、チームのタスクを符号化する手法を提案する。 マルチエージェント設定におけるRMの新たな解釈は、要求されるチームメイト相互依存性を明示的に符号化し、チームレベルのタスクを個々のエージェントのサブタスクに分解することを可能にする。
  論文  参考訳（メタデータ） (2020-07-03T23:08:14Z)
• Individual specialization in multi-task environments with multiagent reinforcement learners [0.0]
  汎用知的エージェント構築の第一歩として,マルチエージェント強化学習(MARL)への関心が高まっている。 以前の結果は、調整、効率/公平性、共有プールリソース共有の条件の増大を示唆している。 マルチタスク環境において、複数の報奨タスクを実行できるため、エージェントは必ずしも全てのタスクでうまく機能する必要はないが、特定の条件下では特殊化される可能性がある。
  論文  参考訳（メタデータ） (2019-12-29T15:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。