論文の概要: Inferring Latent Temporal Sparse Coordination Graph for Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2403.19253v1
- Date: Thu, 28 Mar 2024 09:20:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 16:53:18.893397
- Title: Inferring Latent Temporal Sparse Coordination Graph for Multi-Agent Reinforcement Learning
- Title（参考訳）: マルチエージェント強化学習のための潜時時間スパース座標グラフの推定
- Authors: Wei Duan, Jie Lu, Junyu Xuan,
- Abstract要約: マルチエージェント強化学習(MARL)のための潜時スパース座標グラフ(LTS-CG)を提案する。
このグラフ学習プロセスは、エージェントが今後の観測を予測できる予測・フューチャー(Predict-Future)と、限られたデータから環境コンテキストを徹底的に把握するInfer-Present(Infer-Present)という、2つの革新的な特徴によってさらに強化されている。
StarCraft IIベンチマークの結果はLTS-CGの優れた性能を裏付けるものだった。
- 参考スコア（独自算出の注目度）: 19.386588137176933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective agent coordination is crucial in cooperative Multi-Agent Reinforcement Learning (MARL). While agent cooperation can be represented by graph structures, prevailing graph learning methods in MARL are limited. They rely solely on one-step observations, neglecting crucial historical experiences, leading to deficient graphs that foster redundant or detrimental information exchanges. Additionally, high computational demands for action-pair calculations in dense graphs impede scalability. To address these challenges, we propose inferring a Latent Temporal Sparse Coordination Graph (LTS-CG) for MARL. The LTS-CG leverages agents' historical observations to calculate an agent-pair probability matrix, where a sparse graph is sampled from and used for knowledge exchange between agents, thereby simultaneously capturing agent dependencies and relation uncertainty. The computational complexity of this procedure is only related to the number of agents. This graph learning process is further augmented by two innovative characteristics: Predict-Future, which enables agents to foresee upcoming observations, and Infer-Present, ensuring a thorough grasp of the environmental context from limited data. These features allow LTS-CG to construct temporal graphs from historical and real-time information, promoting knowledge exchange during policy learning and effective collaboration. Graph learning and agent training occur simultaneously in an end-to-end manner. Our demonstrated results on the StarCraft II benchmark underscore LTS-CG's superior performance.
- Abstract（参考訳）: 協調型マルチエージェント強化学習(MARL)において,効果的なエージェント調整が重要である。
エージェント協調はグラフ構造で表すことができるが、MARLにおける一般的なグラフ学習手法は限られている。
それらは一段階の観察にのみ依存し、重要な歴史的経験を無視し、冗長または有害な情報交換を後押しする不十分なグラフに繋がる。
さらに、高密度グラフにおけるアクションペア計算に対する高い計算要求はスケーラビリティを阻害する。
これらの課題に対処するため、MARLのための遅延時間スパース座標グラフ(LTS-CG)を提案する。
LTS-CGはエージェントの履歴観測を利用してエージェントペア確率行列を計算し、エージェント間の知識交換にスパースグラフをサンプリングし、エージェント依存性と関係の不確かさを同時にキャプチャする。
この手順の計算複雑性は、エージェントの数にのみ関係している。
このグラフ学習プロセスは、エージェントが今後の観測を予測できる予測・フューチャー(Predict-Future)と、限られたデータから環境コンテキストを徹底的に把握するInfer-Present(Infer-Present)という、2つの革新的な特徴によってさらに強化されている。
これらの特徴によりLTS-CGは、歴史的およびリアルタイムの情報から時間グラフを構築することができ、政策学習と効果的な協調の際の知識交換を促進することができる。
グラフ学習とエージェントトレーニングは、エンドツーエンドで同時に行われる。
StarCraft IIベンチマークの結果はLTS-CGの優れた性能を裏付けるものだった。
関連論文リスト
- Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文 参考訳（メタデータ） (2024-05-29T14:26:24Z) - Group-Aware Coordination Graph for Multi-Agent Reinforcement Learning [19.386588137176933]
GACG(Group-Aware Coordination Graph)は、エージェントペア間の協調を現在の観測結果に基づいて捉えるように設計されている。
GACGは、意思決定中にエージェント間の情報交換のためのグラフ畳み込みにも使われる。
本稿では,StarCraft IIマイクロマネジメントタスクによるGACGの性能評価を行った。
論文 参考訳（メタデータ） (2024-04-17T01:17:10Z) - K-Link: Knowledge-Link Graph from LLMs for Enhanced Representation
Learning in Multivariate Time-Series Data [39.83677994033754]
我々は,大規模言語モデル(LLM)を利用して,広範な一般知識を符号化するKリンクという新しいフレームワークを提案する。
本稿では,知識リンクグラフ内の意味知識のMSSグラフへの移動を容易にするグラフアライメントモジュールを提案する。
論文 参考訳（メタデータ） (2024-03-06T12:08:14Z) - MTRGL:Effective Temporal Correlation Discerning through Multi-modal
Temporal Relational Graph Learning [2.879827542529434]
我々はMTRGL(Multi-modal Temporal Relation Graph Learning)という新しいフレームワークを導入する。
MTRGLは時系列データと離散的な特徴を時間グラフに結合し、メモリベースの時間グラフニューラルネットワークを使用する。
実世界のデータセットを用いた実験により,MTRGLの優れた性能が確認された。
論文 参考訳（メタデータ） (2024-01-25T14:21:14Z) - Graph Relation Aware Continual Learning [3.908470250825618]
連続グラフ学習(CGL)は、無限のグラフデータストリームから学習する問題を研究する。
我々は、縁の裏側にある潜伏関係を探索する関係発見モジュールからなるRAM-CGと呼ばれる関係認識適応モデルを設計する。
RAM-CGはCitationNet、OGBN-arxiv、TWITCHデータセットの最先端結果に対して2.2%、6.9%、および6.6%の精度向上を提供する。
論文 参考訳（メタデータ） (2023-08-16T09:53:20Z) - Co-attention Graph Pooling for Efficient Pairwise Graph Interaction
Learning [19.58671020943416]
グラフニューラルネットワーク(GNN)は、グラフ構造化データからの処理と学習に有効であることが証明されている。
グラフプーリングにおけるコアテンションを用いた相互作用表現抽出のための,新しい,効率的なグラフレベルアプローチを提案する。
筆者らの手法であるCAGPool(Co-Attention Graph Pooling)は,従来の手法と比較して,分類処理と回帰処理の両面での競合性能を示す。
論文 参考訳（メタデータ） (2023-07-28T07:53:34Z) - Distributed Learning over Networks with Graph-Attention-Based
Personalization [49.90052709285814]
分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。
特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。
グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
論文 参考訳（メタデータ） (2023-05-22T13:48:30Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。
我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。
その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
論文 参考訳（メタデータ） (2022-05-22T11:57:08Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳（メタデータ） (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。