論文の概要: A Scalable Graph-Theoretic Distributed Framework for Cooperative Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2202.13046v2
• Date: Tue, 1 Mar 2022 02:53:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 12:45:44.115443
• Title: A Scalable Graph-Theoretic Distributed Framework for Cooperative Multi-Agent Reinforcement Learning
• Title（参考訳）: 協調型マルチエージェント強化学習のためのスケーラブルグラフ理論分散フレームワーク
• Authors: Gangshan Jing, He Bai, Jemin George, Aranya Chakrabortty, Piyush K. Sharma
• Abstract要約: 大規模協調型マルチエージェント強化学習(MARL)の課題は2つある。 第一のアプローチは、問題自体の本質的な分解可能性特性を利用する。 第二のアプローチは近似解を提供し、任意のグラフに適用できる。
• 参考スコア（独自算出の注目度）: 18.04270684579841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main challenge of large-scale cooperative multi-agent reinforcement learning (MARL) is two-fold: (i) the RL algorithm is desired to be distributed due to limited resource for each individual agent; (ii) issues on convergence or computational complexity emerge due to the curse of dimensionality. Unfortunately, most of existing distributed RL references only focus on ensuring that the individual policy-seeking process of each agent is based on local information, but fail to solve the scalability issue induced by high dimensions of the state and action spaces when facing large-scale networks. In this paper, we propose a general distributed framework for cooperative MARL by utilizing the structures of graphs involved in this problem. We introduce three graphs in MARL, namely, the coordination graph, the observation graph and the reward graph. Based on these three graphs, and a given communication graph, we propose two distributed RL approaches. The first approach utilizes the inherent decomposability property of the problem itself, whose efficiency depends on the structures of the aforementioned four graphs, and is able to produce a high performance under specific graphical conditions. The second approach provides an approximate solution and is applicable for any graphs. Here the approximation error depends on an artificially designed index. The choice of this index is a trade-off between minimizing the approximation error and reducing the computational complexity. Simulations show that our RL algorithms have a significantly improved scalability to large-scale MASs compared with centralized and consensus-based distributed RL algorithms.
• Abstract（参考訳）: 大規模協調型マルチエージェント強化学習(MARL)の主な課題は2つある。 (i)RLアルゴリズムは,各エージェントのリソースが限られているため,分散することが望ましい。 (II)次元の呪いにより収束や計算複雑性の問題が発生する。 残念ながら、既存の分散RLの参照のほとんどは、各エージェントのポリシー検索プロセスがローカル情報に基づいていることにのみ焦点をあてているが、大規模ネットワークに直面する際に状態空間と行動空間の高次元によって引き起こされるスケーラビリティの問題は解決できない。 本稿では,この問題に関わるグラフ構造を利用した協調型MARLのための汎用分散フレームワークを提案する。 MARLでは,座標グラフ,観測グラフ,報酬グラフという3つのグラフを導入する。 これら3つのグラフと与えられた通信グラフに基づいて、2つの分散RLアプローチを提案する。 最初のアプローチでは、上記の4つのグラフの構造に依存する問題自体の固有の分解可能性特性を利用し、特定のグラフィカルな条件下で高いパフォーマンスを生み出すことができる。 第二のアプローチは近似解を提供し、任意のグラフに適用できる。 ここで近似誤差は人工的に設計された指数に依存する。 この指標の選択は近似誤差の最小化と計算複雑性の低減とのトレードオフである。 シミュレーションによると、rlアルゴリズムは、集中型およびコンセンサスベースの分散rlアルゴリズムと比較して、大規模マスへのスケーラビリティが大幅に向上している。

関連論文リスト

• Scalable and Accurate Graph Reasoning with LLM-based Multi-Agents [27.4884498301785]
  GraphAgent-Reasonerは、明示的で正確なグラフ推論のための微調整不要なフレームワークである。 分散グラフ計算理論にインスパイアされた我々のフレームワークは、グラフ問題を複数のエージェント間で分散される小さなノード中心のタスクに分解する。 本フレームワークは,Webページ重要度分析などの実世界のグラフ推論アプリケーションを扱う能力を示す。
  論文  参考訳（メタデータ） (2024-10-07T15:34:14Z)
• Symmetry-preserving graph attention network to solve routing problems at multiple resolutions [1.9304772860080408]
  問題解決のために,最初の完全同変モデルとトレーニングを導入する。 入力グラフのマルチスケール構造を捉えることが不可欠である。 本稿では,Equi Graph Attention Network (mEGAT) アーキテクチャと組み合わせたマルチレゾリューション方式を提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:22:20Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• One-step Bipartite Graph Cut: A Normalized Formulation and Its Application to Scalable Subspace Clustering [56.81492360414741]
  両部グラフの1ステップ正規化カットを、特に線形時間複雑性で実施する方法を示す。 本稿では、まず、正規化制約付き一段階二分グラフカット基準を特徴付けるとともに、そのトレース問題に対する等価性を理論的に証明する。 このカット基準を、適応アンカー学習、二部グラフ学習、一段階正規化二部グラフ分割を同時にモデル化するスケーラブルなサブスペースクラスタリングアプローチに拡張する。
  論文  参考訳（メタデータ） (2023-05-12T11:27:20Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Graph Reinforcement Learning for Radio Resource Allocation [13.290246410488727]
  我々は,無線通信における多くの問題に固有の2種類のリレーショナル先行性を活用するために,グラフ強化学習を利用する。 グラフ強化学習フレームワークを体系的に設計するために,まず状態行列を状態グラフに変換する方法を提案する。 次に,所望の置換特性を満たすグラフニューラルネットワークの汎用手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T08:02:54Z)
• Self-Organized Polynomial-Time Coordination Graphs [21.02670428540549]
  コーディネーショングラフは強化学習におけるモデルエージェント協調に対する有望なアプローチである。 このパラダイムの課題の1つは、グラフベースの値分解のための最大値アクションの計算の複雑さである。 本稿では,自己組織型多項式時間座標グラフ (SOP-CG) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-07T07:42:40Z)
• StairwayGraphNet for Inter- and Intra-modality Multi-resolution Brain Graph Alignment and Synthesis [1.6114012813668934]
  本稿では,SG-Net(SteairwayGraphNet)フレームワークを提案する。このフレームワークは,対象とするグラフのモダリティを,与えられたモダリティと超解像脳グラフに基づいて推定する。 我々のSG-Netは、(i)ドメイン間の新しいグラフ生成逆数ネットワークに基づくソースからのターゲットグラフ予測、(ii)時間を要する高価なMRI処理ステップに頼らずに高解像度の脳グラフを生成する、(iii)ソース分布を基底真理グラフに合わせるように強制する、という3つの主なコントリビューションで構成されています。
  論文  参考訳（メタデータ） (2021-10-06T09:49:38Z)
• Multilayer Clustered Graph Learning [66.94201299553336]
  我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。 実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。 クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
  論文  参考訳（メタデータ） (2020-10-29T09:58:02Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。