Fugu-MT 論文翻訳(概要): Distributed Multi-Agent Reinforcement Learning Based on Graph-Induced Local Value Functions

論文の概要: Distributed Multi-Agent Reinforcement Learning Based on Graph-Induced Local Value Functions

arxiv url: http://arxiv.org/abs/2202.13046v4
Date: Sun, 31 Mar 2024 01:49:22 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 23:57:15.423866
Title: Distributed Multi-Agent Reinforcement Learning Based on Graph-Induced Local Value Functions
Title（参考訳）: グラフ誘導局所値関数に基づく分散マルチエージェント強化学習
Authors: Gangshan Jing, He Bai, Jemin George, Aranya Chakrabortty, Piyush K. Sharma,
Abstract要約: 協調型マルチエージェント強化学習(MARL)のための計算効率の良い分散フレームワークを提案する。 MARLにおける3種類のエージェント間カップリングを記述した3つのカップリンググラフを導入する。結合グラフから導出した局所値関数に基づく2つの分散RL手法を提案する。
参考スコア（独自算出の注目度）: 7.6860514640178
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Achieving distributed reinforcement learning (RL) for large-scale cooperative multi-agent systems (MASs) is challenging because: (i) each agent has access to only limited information; (ii) issues on convergence or computational complexity emerge due to the curse of dimensionality. In this paper, we propose a general computationally efficient distributed framework for cooperative multi-agent reinforcement learning (MARL) by utilizing the structures of graphs involved in this problem. We introduce three coupling graphs describing three types of inter-agent couplings in MARL, namely, the state graph, the observation graph and the reward graph. By further considering a communication graph, we propose two distributed RL approaches based on local value-functions derived from the coupling graphs. The first approach is able to reduce sample complexity significantly under specific conditions on the aforementioned four graphs. The second approach provides an approximate solution and can be efficient even for problems with dense coupling graphs. Here there is a trade-off between minimizing the approximation error and reducing the computational complexity. Simulations show that our RL algorithms have a significantly improved scalability to large-scale MASs compared with centralized and consensus-based distributed RL algorithms.
Abstract（参考訳）: 大規模協調型マルチエージェントシステム(MAS)のための分散強化学習(RL)の達成は、次のような理由から困難である。 i) 各代理人は,限られた情報のみにアクセスすることができる。 (II)次元の呪いにより収束や計算複雑性の問題が発生する。本稿では,協調型マルチエージェント強化学習(MARL)のための汎用的な計算効率の高い分散フレームワークを提案する。本稿では,MARLにおけるエージェント間カップリングの3つのタイプ,すなわち状態グラフ,観察グラフ,報酬グラフを記述する3つの結合グラフを紹介する。さらに通信グラフを考慮し、結合グラフから導出した局所値関数に基づく2つの分散RLアプローチを提案する。最初のアプローチは、上記の4つのグラフの特定の条件下で、サンプルの複雑さを著しく減らすことができる。第二のアプローチは近似解を提供し、密結合グラフの問題に対しても効率的である。ここでは近似誤差の最小化と計算複雑性の低減との間にトレードオフがある。シミュレーションにより、我々のRLアルゴリズムは、集中型およびコンセンサスベースの分散RLアルゴリズムと比較して、大規模MASよりもスケーラビリティが大幅に向上していることが示された。

関連論文リスト

Scalable and Accurate Graph Reasoning with LLM-based Multi-Agents [27.4884498301785]
GraphAgent-Reasonerは、明示的で正確なグラフ推論のための微調整不要なフレームワークである。分散グラフ計算理論にインスパイアされた我々のフレームワークは、グラフ問題を複数のエージェント間で分散される小さなノード中心のタスクに分解する。本フレームワークは,Webページ重要度分析などの実世界のグラフ推論アプリケーションを扱う能力を示す。
論文参考訳（メタデータ） (2024-10-07T15:34:14Z)
Symmetry-preserving graph attention network to solve routing problems at multiple resolutions [1.9304772860080408]
問題解決のために,最初の完全同変モデルとトレーニングを導入する。入力グラフのマルチスケール構造を捉えることが不可欠である。本稿では,Equi Graph Attention Network (mEGAT) アーキテクチャと組み合わせたマルチレゾリューション方式を提案する。
論文参考訳（メタデータ） (2023-10-24T06:22:20Z)
Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
論文参考訳（メタデータ） (2023-05-22T13:48:30Z)
One-step Bipartite Graph Cut: A Normalized Formulation and Its Application to Scalable Subspace Clustering [56.81492360414741]
両部グラフの1ステップ正規化カットを、特に線形時間複雑性で実施する方法を示す。本稿では、まず、正規化制約付き一段階二分グラフカット基準を特徴付けるとともに、そのトレース問題に対する等価性を理論的に証明する。このカット基準を、適応アンカー学習、二部グラフ学習、一段階正規化二部グラフ分割を同時にモデル化するスケーラブルなサブスペースクラスタリングアプローチに拡張する。
論文参考訳（メタデータ） (2023-05-12T11:27:20Z)
Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文参考訳（メタデータ） (2022-12-08T23:36:00Z)
Graph Reinforcement Learning for Radio Resource Allocation [13.290246410488727]
我々は,無線通信における多くの問題に固有の2種類のリレーショナル先行性を活用するために,グラフ強化学習を利用する。グラフ強化学習フレームワークを体系的に設計するために,まず状態行列を状態グラフに変換する方法を提案する。次に,所望の置換特性を満たすグラフニューラルネットワークの汎用手法を提案する。
論文参考訳（メタデータ） (2022-03-08T08:02:54Z)
Self-Organized Polynomial-Time Coordination Graphs [21.02670428540549]
コーディネーショングラフは強化学習におけるモデルエージェント協調に対する有望なアプローチである。このパラダイムの課題の1つは、グラフベースの値分解のための最大値アクションの計算の複雑さである。本稿では,自己組織型多項式時間座標グラフ (SOP-CG) という新しい手法を提案する。
論文参考訳（メタデータ） (2021-12-07T07:42:40Z)
StairwayGraphNet for Inter- and Intra-modality Multi-resolution Brain Graph Alignment and Synthesis [1.6114012813668934]
本稿では,SG-Net(SteairwayGraphNet)フレームワークを提案する。このフレームワークは,対象とするグラフのモダリティを,与えられたモダリティと超解像脳グラフに基づいて推定する。我々のSG-Netは、(i)ドメイン間の新しいグラフ生成逆数ネットワークに基づくソースからのターゲットグラフ予測、(ii)時間を要する高価なMRI処理ステップに頼らずに高解像度の脳グラフを生成する、(iii)ソース分布を基底真理グラフに合わせるように強制する、という3つの主なコントリビューションで構成されています。
論文参考訳（メタデータ） (2021-10-06T09:49:38Z)
Multilayer Clustered Graph Learning [66.94201299553336]
我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
論文参考訳（メタデータ） (2020-10-29T09:58:02Z)
Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文参考訳（メタデータ） (2020-02-04T08:33:49Z)
Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。