論文の概要: Multi-agent Covering Option Discovery based on Kronecker Product of
Factor Graphs
- arxiv url: http://arxiv.org/abs/2201.08227v1
- Date: Thu, 20 Jan 2022 15:33:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-21 13:59:37.494976
- Title: Multi-agent Covering Option Discovery based on Kronecker Product of
Factor Graphs
- Title（参考訳）: 因子グラフのクロネッカー生成物に基づくマルチエージェント被覆オプション発見
- Authors: Jiayu Chen, Jingdi Chen, Tian Lan, Vaneet Aggarwal
- Abstract要約: エージェント間の協調的な探索行動により,マルチエージェントの選択肢を直接計算できることが示唆された。
提案アルゴリズムは,マルチエージェントオプションの同定に成功し,シングルエージェントオプションや非オプションを用いることで,従来よりも大幅に性能が向上する。
- 参考スコア（独自算出の注目度）: 41.17714498464354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Covering option discovery has been developed to improve the exploration of
reinforcement learning in single-agent scenarios with sparse reward signals,
through connecting the most distant states in the embedding space provided by
the Fiedler vector of the state transition graph. However, these option
discovery methods cannot be directly extended to multi-agent scenarios, since
the joint state space grows exponentially with the number of agents in the
system. Thus, existing researches on adopting options in multi-agent scenarios
still rely on single-agent option discovery and fail to directly discover the
joint options that can improve the connectivity of the joint state space of
agents. In this paper, we show that it is indeed possible to directly compute
multi-agent options with collaborative exploratory behaviors among the agents,
while still enjoying the ease of decomposition. Our key idea is to approximate
the joint state space as a Kronecker graph -- the Kronecker product of
individual agents' state transition graphs, based on which we can directly
estimate the Fiedler vector of the joint state space using the Laplacian
spectrum of individual agents' transition graphs. This decomposition enables us
to efficiently construct multi-agent joint options by encouraging agents to
connect the sub-goal joint states which are corresponding to the minimum or
maximum values of the estimated joint Fiedler vector. The evaluation based on
multi-agent collaborative tasks shows that the proposed algorithm can
successfully identify multi-agent options, and significantly outperforms prior
works using single-agent options or no options, in terms of both faster
exploration and higher cumulative rewards.
- Abstract（参考訳）: 状態遷移グラフのFiedlerベクトルによって提供される埋め込み空間の最も遠い状態を接続することにより、単一エージェントシナリオにおける強化学習のスパース報酬信号による探索を改善するために、カバーオプション発見が開発された。
しかし、結合状態空間はシステム内のエージェント数で指数関数的に増加するため、これらのオプション発見手法をマルチエージェントシナリオに直接拡張することはできない。
このように、マルチエージェントシナリオにおけるオプションの採用に関する既存の研究は、シングルエージェントオプション発見に依存しており、エージェントの結合状態空間の接続性を改善するためのジョイントオプションを直接発見できない。
本稿では,エージェント間の協調的な探索行動を伴うマルチエージェントオプションを,分解の容易さを享受しながら直接計算することが可能であることを示す。
我々の重要なアイデアは、個々のエージェントの状態遷移グラフのクロネッカー積であるクロネッカーグラフとしてジョイント状態空間を近似することであり、それによって個々のエージェントの遷移グラフのラプラシアンスペクトルを用いてジョイント状態空間のフィドラーベクトルを直接推定することができる。
この分解により、推定されたジョイントフィドラーベクトルの最小値または最大値に対応するサブゴールジョイント状態の接続を促すことで、マルチエージェントジョイントオプションを効率的に構築できる。
マルチエージェント協調タスクに基づく評価は,提案アルゴリズムがマルチエージェントオプションの同定に成功し,より高速な探索と高い累積報酬の両面から,シングルエージェントオプションやノーオプションを用いた先行作業よりも大幅に優れていたことを示す。
関連論文リスト
- Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。
神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
論文 参考訳（メタデータ） (2024-06-11T11:02:04Z) - Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning
with Goal Imagination [16.74629849552254]
本稿では,複数のエージェントを協調するモデルに基づくコンセンサス機構を提案する。
提案したMulti-Adnt Goal Imagination (MAGI) フレームワークは、エージェントがImagined Common goalとコンセンサスに達するためのガイドである。
このような効率的なコンセンサス機構は、すべてのエージェントを協調して有用な将来状態に導くことができることを示す。
論文 参考訳（メタデータ） (2024-03-05T18:07:34Z) - Decentralized Multi-Agent Active Search and Tracking when Targets
Outnumber Agents [8.692007892160913]
そこで我々は,DecSTERと呼ばれる分散マルチエージェント,マルチターゲット,同時アクティブ検索・追跡アルゴリズムを提案する。
提案アルゴリズムは,確率仮説密度フィルタの逐次モントカルロ法とトンプソンサンプリングを併用し,分散化マルチエージェント意思決定を行う。
シミュレーションでは,DecSTERは信頼性の低いエージェント間通信に頑健であり,最適サブパターン割り当て(OSPA)の指標で情報グレディベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2024-01-06T08:10:58Z) - Scalable Multi-agent Covering Option Discovery based on Kronecker Graphs [49.71319907864573]
本稿では,分解が容易なマルチエージェントスキル発見法を提案する。
我々のキーとなる考え方は、合同状態空間をクロネッカーグラフとして近似することであり、そのフィドラーベクトルを直接見積もることができる。
ラプラシアンスペクトルを直接計算することは、無限大の状態空間を持つタスクには難易度が高いことを考慮し、さらに本手法の深層学習拡張を提案する。
論文 参考訳（メタデータ） (2023-07-21T14:53:12Z) - Graph Exploration for Effective Multi-agent Q-Learning [46.723361065955544]
本稿では,エージェント間のグラフベース通信を用いたマルチエージェント強化学習(MARL)の探索手法を提案する。
エージェントが受け取った個々の報酬は、他のエージェントのアクションとは独立していると仮定する一方で、そのポリシーは結合されている。
提案手法では,より効率的な爆発行動を実行するために,近隣のエージェントが協調して状態-作用空間の不確かさを推定する。
論文 参考訳（メタデータ） (2023-04-19T10:28:28Z) - Factorization of Multi-Agent Sampling-Based Motion Planning [72.42734061131569]
現代のロボティクスは、共有環境内で複数のエンボディエージェントを動作させることが多い。
標準的なサンプリングベースのアルゴリズムは、ロボットの関節空間における解の探索に使用できる。
我々は、因子化の概念をサンプリングベースアルゴリズムに統合し、既存の手法への最小限の変更しか必要としない。
本稿では, PRM* のサンプル複雑性の観点から解析的ゲインを導出し, RRG の実証結果を示す。
論文 参考訳（メタデータ） (2023-04-01T15:50:18Z) - Multi-agent Deep Covering Skill Discovery [50.812414209206054]
本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。
また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。
提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
論文 参考訳（メタデータ） (2022-10-07T00:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。