論文の概要: Networked Agents in the Dark: Team Value Learning under Partial Observability

• arxiv url: http://arxiv.org/abs/2501.08778v1
• Date: Wed, 15 Jan 2025 13:01:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:52:55.839645
• Title: Networked Agents in the Dark: Team Value Learning under Partial Observability
• Title（参考訳）: 暗黒のネットワークエージェント: 部分的な可観測性の下でのチームの価値学習
• Authors: Guilherme S. Varela, Alberto Sardinha, Francisco S. Melo,
• Abstract要約: ネットワークエージェントのための協調型マルチエージェント強化学習(MARL)手法を提案する。 完全な状態情報や共同観測に依存する従来の手法とは対照的に、我々のエージェントは部分観測可能性の下で共有目的に到達する方法を学ぶ必要がある。 トレーニング中、個々の報酬を収集し、ローカルコミュニケーションを通じてチームの価値関数を近似し、協調行動をもたらす。
• 参考スコア（独自算出の注目度）: 3.8779763612314633
• License:
• Abstract: We propose a novel cooperative multi-agent reinforcement learning (MARL) approach for networked agents. In contrast to previous methods that rely on complete state information or joint observations, our agents must learn how to reach shared objectives under partial observability. During training, they collect individual rewards and approximate a team value function through local communication, resulting in cooperative behavior. To describe our problem, we introduce the networked dynamic partially observable Markov game framework, where agents communicate over a switching topology communication network. Our distributed method, DNA-MARL, uses a consensus mechanism for local communication and gradient descent for local computation. DNA-MARL increases the range of the possible applications of networked agents, being well-suited for real world domains that impose privacy and where the messages may not reach their recipients. We evaluate DNA-MARL across benchmark MARL scenarios. Our results highlight the superior performance of DNA-MARL over previous methods.
• Abstract（参考訳）: ネットワークエージェントのための協調型マルチエージェント強化学習(MARL)手法を提案する。 完全な状態情報や共同観測に依存する従来の手法とは対照的に、我々のエージェントは部分観測可能性の下で共有目的に到達する方法を学ぶ必要がある。 トレーニング中、個々の報酬を収集し、ローカルコミュニケーションを通じてチームの価値関数を近似し、協調行動をもたらす。 そこで我々は,ネットワーク化された動的部分観測可能なマルコフゲームフレームワークを導入し,エージェントがスイッチングトポロジ通信ネットワーク上で通信を行う。 我々の分散手法であるDNA-MARLは、局所的な通信と勾配降下のためのコンセンサス機構を用いて局所的な計算を行う。 DNA-MARLは、ネットワーク化されたエージェントのアプリケーションの範囲を広げ、プライバシを強制する現実世界のドメインやメッセージが受信者に届かない場所に適している。 ベンチマークMARLのシナリオ間でDNA-MARLを評価した。 その結果,DNA-MARLは従来法よりも優れた性能を示した。

関連論文リスト

• Collaborative Information Dissemination with Graph-based Multi-Agent Reinforcement Learning [2.9904113489777826]
  本稿では,効率的な情報伝達のためのマルチエージェント強化学習(MARL)手法を提案する。 本稿では,各エージェントが個別にメッセージ転送を決定するための情報発信のための部分観測可能なゲーム(POSG)を提案する。 実験の結果,既存の手法よりも訓練済みの方針が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-08-25T21:30:16Z)
• Building Cooperative Embodied Agents Modularly with Large Language Models [104.57849816689559]
  本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。 我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。 C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
  論文  参考訳（メタデータ） (2023-07-05T17:59:27Z)
• Efficient Communication via Self-supervised Information Aggregation for Online and Offline Multi-agent Reinforcement Learning [12.334522644561591]
  MARL(Multi-Agent Reinforcement Learning)の協調学習において,効率的なメッセージアグリゲーションは協調に不可欠である,と我々は主張する。 本稿では, エージェントが受信したメッセージをコンパクトな表現に集約し, ローカルポリシーの強化に高い関連性を持たせることができる, 自己教師型情報集約(MASIA)によるマルチエージェント通信を提案する。 私たちはマルチエージェント通信のためのオフラインベンチマークを構築しています。
  論文  参考訳（メタデータ） (2023-02-19T16:02:16Z)
• Centralized Training with Hybrid Execution in Multi-Agent Reinforcement Learning [7.163485179361718]
  マルチエージェント強化学習(MARL)におけるハイブリッド実行の導入 MARLは、エージェントが任意の通信レベルを持つ協調タスクを実行時に完了させることを目標とする新しいパラダイムである。 我々は,自動回帰予測モデルを用いたMAROを集中的に訓練し,行方不明者の観察を推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T14:58:32Z)
• FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems [15.631744703803806]
  我々は、エージェントが効果的なマルチホップ通信プロトコルを同時に学習できる強化学習ベースのアプローチであるFCMNetを紹介する。 単純なマルチホップトポロジを用いて、各エージェントに各ステップで他のエージェントが逐次エンコードした情報を受信する能力を与える。 FCMNetは、すべてのStarCraft IIマイクロマネジメントタスクにおいて、最先端のコミュニケーションベースの強化学習方法より優れている。
  論文  参考訳（メタデータ） (2022-01-28T09:12:01Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• Learning Connectivity for Data Distribution in Robot Teams [96.39864514115136]
  グラフニューラルネットワーク(GNN)を用いたアドホックネットワークにおけるデータ分散のためのタスク非依存,分散化,低レイテンシ手法を提案する。 当社のアプローチは、グローバル状態情報に基づいたマルチエージェントアルゴリズムを各ロボットで利用可能にすることで機能させます。 我々は,情報の平均年齢を報酬関数として強化学習を通じて分散gnn通信政策を訓練し,タスク固有の報酬関数と比較してトレーニング安定性が向上することを示す。
  論文  参考訳（メタデータ） (2021-03-08T21:48:55Z)
• Cooperative Policy Learning with Pre-trained Heterogeneous Observation Representations [51.8796674904734]
  事前訓練された異種観察表現を用いた新たな協調学習フレームワークを提案する。 エンコーダ-デコーダに基づくグラフアテンションを用いて、複雑な相互作用と異種表現を学習する。
  論文  参考訳（メタデータ） (2020-12-24T04:52:29Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Networked Multi-Agent Reinforcement Learning with Emergent Communication [18.47483427884452]
  MARL(Multi-Agent Reinforcement Learning)法は,他の学習エージェントの存在下で活動するエージェントに対して最適なポリシーを求める。 コーディネートするひとつの方法は、相互通信を学ぶことです。 エージェントは共通のタスクを実行するために学習しながら言語を開発することができるか?
  論文  参考訳（メタデータ） (2020-04-06T16:13:23Z)
• Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
  本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。 本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-11T07:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。