論文の概要: Do LLM-derived graph priors improve multi-agent coordination?
- arxiv url: http://arxiv.org/abs/2604.17191v1
- Date: Sun, 19 Apr 2026 01:40:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.383082
- Title: Do LLM-derived graph priors improve multi-agent coordination?
- Title(参考訳): LLM由来のグラフはマルチエージェント調整を改善するか?
- Authors: Nikunj Gupta, Rajgopal Kannan, Viktor Prasanna,
- Abstract要約: 大規模言語モデル(LLM)は、マルチエージェント強化学習(MARL)に有用なコーディネーショングラフを生成できる
LLM由来のグラフが動的マルチエージェント環境における協調性と適応性を向上できることを示す最初の定量的証拠を提供する。
- 参考スコア(独自算出の注目度): 5.3569479406244325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent reinforcement learning (MARL) is crucial for AI systems that operate collaboratively in distributed and adversarial settings, particularly in multi-domain operations (MDO). A central challenge in cooperative MARL is determining how agents should coordinate: existing approaches must either hand-specify graph topology, rely on proximity-based heuristics, or learn structure entirely from environment interaction; all of which are brittle, semantically uninformed, or data-intensive. We investigate whether large language models (LLMs) can generate useful coordination graph priors for MARL by using minimal natural language descriptions of agent observations to infer latent coordination patterns. These priors are integrated into MARL algorithms via graph convolutional layers within a graph neural network (GNN)-based pipeline, and evaluated on four cooperative scenarios from the Multi-Agent Particle Environment (MPE) benchmark against baselines spanning the full spectrum of coordination modeling, from independent learners to state-of-the-art graph-based methods. We further ablate across five compact open-source LLMs to assess the sensitivity of prior quality to model choice. Our results provide the first quantitative evidence that LLM-derived graph priors can enhance coordination and adaptability in dynamic multi-agent environments, and demonstrate that models as small as 1.5B parameters are sufficient for effective prior generation.
- Abstract(参考訳): マルチエージェント強化学習(MARL)は、特にマルチドメイン操作(MDO)において、分散および敵対的な設定で協調的に動作するAIシステムにとって重要である。
既存のアプローチは、グラフトポロジを手作業で特定するか、近接ベースのヒューリスティックに依存するか、環境の相互作用から完全に構造を学ぶ必要がある。
エージェント観測結果の最小限の自然言語記述を用いて,大規模言語モデル(LLM)がMARLに有用なコーディネーショングラフを生成できるかどうかを検討する。
これらの先行は、グラフニューラルネットワーク(GNN)ベースのパイプライン内のグラフ畳み込み層を介してMARLアルゴリズムに統合され、独立した学習者から最先端のグラフベースの方法まで、コーディネーションモデリングの全スペクトルをカバーするベースラインに対するマルチエージェント粒子環境(MPE)ベンチマークの4つの協調シナリオで評価される。
さらに、5つのコンパクトなオープンソース LLM を集約し、モデル選択に対する事前品質の感度を評価する。
その結果, LLM由来のグラフが動的マルチエージェント環境における協調性や適応性を向上できることを示す最初の定量的証拠が得られ, 1.5B のパラメータのモデルが有効な事前生成に十分であることを示す。
関連論文リスト
- MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents [59.825725526176655]
大規模言語モデル(LLM)は、自律的なエージェントとして顕著な能力を示している。
既存のベンチマークでは、単一エージェントタスクにフォーカスするか、狭いドメインに限定されており、マルチエージェントのコーディネーションと競合のダイナミクスを捉えていない。
多様な対話シナリオにまたがってLLMベースのマルチエージェントシステムを評価するためのベンチマークであるMultiAgentBenchを紹介する。
論文 参考訳(メタデータ) (2025-03-03T05:18:50Z) - Deep Meta Coordination Graphs for Multi-agent Reinforcement Learning [2.650735171795961]
多エージェント強化学習(MARL)における協調政策学習のための深層メタコーディネートグラフ(DMCG)
DMCGは、エージェント間の高次および間接的な関係をキャプチャする。
その後、グラフ畳み込みネットワークモジュールを使用して、エンドツーエンドで強力な表現を学習する。
論文 参考訳(メタデータ) (2025-02-06T12:35:52Z) - Self-Clustering Hierarchical Multi-Agent Reinforcement Learning with Extensible Cooperation Graph [9.303181273699417]
本稿では階層型協調グラフ学習(HCGL)と呼ばれる新しい階層型MARLモデルを提案する。
HCGLには3つのコンポーネントがある: 自己クラスタ化協調を実現する動的協調グラフ(ECG)、ECGのトポロジを調整するグラフ演算子のグループ、これらのグラフ演算子のトレーニングのためのMARL。
実験では, HCGLモデルは, スパース報酬を伴うマルチエージェントベンチマークにおいて, 優れた性能を示した。
論文 参考訳(メタデータ) (2024-03-26T19:19:16Z) - Structured Cooperative Learning with Graphical Model Priors [98.53322192624594]
ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。
本稿では,デバイス間の協調グラフをグラフィカルモデルにより生成する「構造化協調学習(SCooL)」を提案する。
SCooLを評価し,既存の分散学習手法と比較した。
論文 参考訳(メタデータ) (2023-06-16T02:41:31Z) - Distributed Multi-Agent Reinforcement Learning Based on Graph-Induced Local Value Functions [7.6860514640178]
協調型マルチエージェント強化学習(MARL)のための計算効率の良い分散フレームワークを提案する。
MARLにおける3種類のエージェント間カップリングを記述した3つのカップリンググラフを導入する。
結合グラフから導出した局所値関数に基づく2つの分散RL手法を提案する。
論文 参考訳(メタデータ) (2022-02-26T03:01:51Z) - Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially
Observable Environments [9.067091068256747]
本稿では,階層型グラフ再帰ネットワーク(HGRN)と呼ばれる新しいネットワーク構造を提案する。
以上の技術に基づいて,Soft-HGRNと呼ばれる値に基づくMADRLアルゴリズムと,SAC-HRGNというアクタクリティカルな変種を提案する。
論文 参考訳(メタデータ) (2021-09-05T09:51:25Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Cooperative Policy Learning with Pre-trained Heterogeneous Observation
Representations [51.8796674904734]
事前訓練された異種観察表現を用いた新たな協調学習フレームワークを提案する。
エンコーダ-デコーダに基づくグラフアテンションを用いて、複雑な相互作用と異種表現を学習する。
論文 参考訳(メタデータ) (2020-12-24T04:52:29Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳(メタデータ) (2020-10-06T16:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。