論文の概要: Self-Organized Polynomial-Time Coordination Graphs

• arxiv url: http://arxiv.org/abs/2112.03547v1
• Date: Tue, 7 Dec 2021 07:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 14:30:19.115653
• Title: Self-Organized Polynomial-Time Coordination Graphs
• Title（参考訳）: 自己組織化多項式時間座標グラフ
• Authors: Qianlan Yang, Weijun Dong, Zhizhou Ren, Jianhao Wang, Tonghan Wang, Chongjie Zhang
• Abstract要約: コーディネーショングラフは強化学習におけるモデルエージェント協調に対する有望なアプローチである。 このパラダイムの課題の1つは、グラフベースの値分解のための最大値アクションの計算の複雑さである。 本稿では,自己組織型多項式時間座標グラフ (SOP-CG) という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 21.02670428540549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coordination graph is a promising approach to model agent collaboration in multi-agent reinforcement learning. It factorizes a large multi-agent system into a suite of overlapping groups that represent the underlying coordination dependencies. One critical challenge in this paradigm is the complexity of computing maximum-value actions for a graph-based value factorization. It refers to the decentralized constraint optimization problem (DCOP), which and whose constant-ratio approximation are NP-hard problems. To bypass this fundamental hardness, this paper proposes a novel method, named Self-Organized Polynomial-time Coordination Graphs (SOP-CG), which uses structured graph classes to guarantee the optimality of the induced DCOPs with sufficient function expressiveness. We extend the graph topology to be state-dependent, formulate the graph selection as an imaginary agent, and finally derive an end-to-end learning paradigm from the unified Bellman optimality equation. In experiments, we show that our approach learns interpretable graph topologies, induces effective coordination, and improves performance across a variety of cooperative multi-agent tasks.
• Abstract（参考訳）: コーディネーショングラフはマルチエージェント強化学習におけるモデルエージェント協調への有望なアプローチである。 大規模なマルチエージェントシステムを、下位の協調依存関係を表す重なり合う一連のグループに分解する。 このパラダイムにおける重要な課題の1つは、グラフベースの値分解に対する最大値アクションの計算の複雑さである。 これは分散制約最適化問題(DCOP)を指し、その定数比近似はNPハード問題である。 この基本的な難しさを回避するために,構造化グラフクラスを用いて,十分な関数表現性を持つDCOPの最適性を保証する,自己組織化多項式時間座標グラフ(SOP-CG)という新しい手法を提案する。 グラフトポロジーを状態依存に拡張し、グラフ選択を仮想エージェントとして定式化し、最終的には統一ベルマン最適方程式からエンドツーエンド学習パラダイムを導出する。 実験では, 解釈可能なグラフトポロジを学習し, 効果的なコーディネーションを誘導し, 各種協調型マルチエージェントタスクの性能向上を図る。

関連論文リスト

• Decision-focused Graph Neural Networks for Combinatorial Optimization [62.34623670845006]
  最適化問題に取り組むための新たな戦略は、従来のアルゴリズムに代わるグラフニューラルネットワーク(GNN)の採用である。 GNNや従来のアルゴリズムソルバがCOの領域で人気が高まっているにもかかわらず、それらの統合利用とエンドツーエンドフレームワークにおけるそれらの相関について限定的な研究がなされている。 我々は、GNNを利用してCO問題に補助的なサポートで対処する決定に焦点を当てたフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-05T22:52:27Z)
• PGODE: Towards High-quality System Dynamics Modeling [40.76121531452706]
  本稿では,エージェントが相互に相互作用して動作に影響を与えるマルチエージェント力学系をモデル化する問題について検討する。 最近の研究では、主に幾何学グラフを用いてこれらの相互相互作用を表現し、グラフニューラルネットワーク(GNN)によって捉えられている。 本稿では,プロトタイプグラフODE(Prototypeal Graph ODE)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-11T12:04:47Z)
• Non-Linear Coordination Graphs [22.29517436920317]
  座標グラフ(CG)は、ペアのペイオフ関数を組み込んだ高次分解を表す。 CG値の分解を線形の場合を超えて拡張することにより、最初の非線形座標グラフを提案する。 提案手法は,MACOのようなマルチエージェント協調タスクにおいて,優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-26T18:11:31Z)
• Distributed Multi-Agent Reinforcement Learning Based on Graph-Induced Local Value Functions [7.6860514640178]
  協調型マルチエージェント強化学習(MARL)のための計算効率の良い分散フレームワークを提案する。 MARLにおける3種類のエージェント間カップリングを記述した3つのカップリンググラフを導入する。 結合グラフから導出した局所値関数に基づく2つの分散RL手法を提案する。
  論文  参考訳（メタデータ） (2022-02-26T03:01:51Z)
• Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially Observable Environments [9.067091068256747]
  本稿では,階層型グラフ再帰ネットワーク(HGRN)と呼ばれる新しいネットワーク構造を提案する。 以上の技術に基づいて,Soft-HGRNと呼ばれる値に基づくMADRLアルゴリズムと,SAC-HRGNというアクタクリティカルな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-05T09:51:25Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs [91.07247251502564]
  本稿では,2つの世界の長所を結合するハイブリッドな手法を提案する。この手法では,グラフを最適化する上層学習手法とバイレベルフレームワークを開発する。 このような二段階のアプローチは、元のハードCOでの学習を単純化し、モデルキャパシティの需要を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2021-06-09T09:18:18Z)
• Diversified Multiscale Graph Learning with Graph Self-Correction [55.43696999424127]
  2つのコア成分を組み込んだ多次元グラフ学習モデルを提案します。 情報埋め込みグラフを生成するグラフ自己補正(GSC)機構、および入力グラフの包括的な特性評価を達成するために多様性ブースト正規化(DBR)。 一般的なグラフ分類ベンチマークの実験は、提案されたGSCメカニズムが最先端のグラフプーリング方法よりも大幅に改善されることを示しています。
  論文  参考訳（メタデータ） (2021-03-17T16:22:24Z)
• Multilayer Clustered Graph Learning [66.94201299553336]
  我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。 実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。 クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
  論文  参考訳（メタデータ） (2020-10-29T09:58:02Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。