論文の概要: QGNN: Value Function Factorisation with Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2205.13005v1
- Date: Wed, 25 May 2022 18:35:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-28 13:35:42.385638
- Title: QGNN: Value Function Factorisation with Graph Neural Networks
- Title(参考訳): QGNN:グラフニューラルネットワークによる値関数の分解
- Authors: Ryan Kortvelesy and Amanda Prorok
- Abstract要約: 強化学習において、グローバルな目的の利用は協力を動機付ける強力なツールである。
本稿では,グラフニューラルネットワーク(GNN)モデルを用いた最初の値分解手法であるQGNNを提案する。
- 参考スコア(独自算出の注目度): 8.121462458089143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In multi-agent reinforcement learning, the use of a global objective is a
powerful tool for incentivising cooperation. Unfortunately, it is not
sample-efficient to train individual agents with a global reward, because it
does not necessarily correlate with an agent's individual actions. This problem
can be solved by factorising the global value function into local value
functions. Early work in this domain performed factorisation by conditioning
local value functions purely on local information. Recently, it has been shown
that providing both local information and an encoding of the global state can
promote cooperative behaviour. In this paper we propose QGNN, the first value
factorisation method to use a graph neural network (GNN) based model. The
multi-layer message passing architecture of QGNN provides more representational
complexity than models in prior work, allowing it to produce a more effective
factorisation. QGNN also introduces a permutation invariant mixer which is able
to match the performance of other methods, even with significantly fewer
parameters. We evaluate our method against several baselines, including
QMIX-Att, GraphMIX, QMIX, VDN, and hybrid architectures. Our experiments
include Starcraft, the standard benchmark for credit assignment; Estimate Game,
a custom environment that explicitly models inter-agent dependencies; and
Coalition Structure Generation, a foundational problem with real-world
applications. The results show that QGNN outperforms state-of-the-art value
factorisation baselines consistently.
- Abstract(参考訳): マルチエージェント強化学習において、グローバルな目的の利用は協力を促す強力なツールである。
残念ながら、個々のエージェントの個々のアクションと必ずしも相関しないため、グローバルな報酬で個々のエージェントを訓練するのはサンプル効率ではない。
この問題は、グローバル値関数を局所値関数に分解することで解決できる。
この領域の初期の研究は、ローカル情報に純粋に局所値関数を条件付けることで分解を行った。
近年,地域情報の提供とグローバル状態のエンコーディングが協調行動を促進することが示されている。
本稿では,グラフニューラルネットワーク(GNN)モデルを用いた最初の値分解手法であるQGNNを提案する。
QGNNの多層メッセージパッシングアーキテクチャは、以前の作業のモデルよりも表現の複雑さを増し、より効果的な分解を生み出す。
QGNNは、パラメータが大幅に少ない場合でも、他のメソッドのパフォーマンスにマッチできる置換不変ミキサも導入している。
提案手法は,QMIX-Att,GraphMIX,QMIX,VDN,ハイブリッドアーキテクチャなど,いくつかのベースラインに対して評価する。
私たちの実験には、クレジット割り当ての標準ベンチマークであるStarcraft、エージェント間の依存関係を明示的にモデル化するカスタム環境であるEstimate Game、現実世界のアプリケーションにおける基本的な問題であるCoalition Structure Generationが含まれています。
その結果、QGNNは最先端の値分解基準を一貫して上回ることがわかった。
関連論文リスト
- TOPIQ: A Top-down Approach from Semantics to Distortions for Image
Quality Assessment [53.72721476803585]
画像品質評価(IQA)は、ディープニューラルネットワークによる顕著な進歩を目の当たりにしたコンピュータビジョンの基本課題である。
本稿では,高レベルの意味論を用いてIQAネットワークを誘導し,意味的に重要な局所歪み領域に注目するトップダウンアプローチを提案する。
提案手法の重要な要素は,低レベル特徴に対するアテンションマップを算出した,クロススケールアテンション機構である。
論文 参考訳(メタデータ) (2023-08-06T09:08:37Z) - Metric Residual Networks for Sample Efficient Goal-conditioned
Reinforcement Learning [52.59242013527014]
ゴール条件強化学習(GCRL)は、現実世界の幅広い応用の可能性を秘めている。
サンプル効率は、GCRLにとって最も重要であり、デフォルトでは、エージェントはその目標に達するとのみ報酬を受ける。
GCRLのための新しいニューラルアーキテクチャを導入し、一般的なモノリシックネットワークアーキテクチャよりもはるかに優れたサンプリング効率を実現する。
論文 参考訳(メタデータ) (2022-08-17T08:04:41Z) - GraphFramEx: Towards Systematic Evaluation of Explainability Methods for
Graph Neural Networks [14.256421832842351]
GNN説明可能性のための最初の体系的評価フレームワークを提案する。
本稿では,3つの「ユーザニーズ」の説明可能性について考察する。
我々は、GNNの入力レベル説明可能性の分野で最も代表的な手法を比較した。
論文 参考訳(メタデータ) (2022-06-20T09:33:12Z) - Graph Ordering Attention Networks [22.468776559433614]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに関わる多くの問題でうまく使われている。
近隣ノード間のインタラクションをキャプチャする新しいGNNコンポーネントであるグラフ順序付け注意層(GOAT)を導入する。
GOATレイヤは、複雑な情報をキャプチャするグラフメトリクスのモデリングにおけるパフォーマンスの向上を示す。
論文 参考訳(メタデータ) (2022-04-11T18:13:19Z) - GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed
Graph Neural Networks [68.61934077627085]
本稿では,グラフ埋め込みを学習可能なGNNと互換性のあるモデリングフレームワークであるGNNRankを紹介する。
既存の手法と比較して,我々の手法が競争力があり,しばしば優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2022-02-01T04:19:50Z) - Local Augmentation for Graph Neural Networks [78.48812244668017]
本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。
局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
論文 参考訳(メタデータ) (2021-09-08T18:10:08Z) - Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially
Observable Environments [9.067091068256747]
本稿では,階層型グラフ再帰ネットワーク(HGRN)と呼ばれる新しいネットワーク構造を提案する。
以上の技術に基づいて,Soft-HGRNと呼ばれる値に基づくMADRLアルゴリズムと,SAC-HRGNというアクタクリティカルな変種を提案する。
論文 参考訳(メタデータ) (2021-09-05T09:51:25Z) - Breaking the Limit of Graph Neural Networks by Improving the
Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。
入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。
構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
論文 参考訳(メタデータ) (2021-06-11T19:18:34Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳(メタデータ) (2020-12-23T09:33:11Z) - Graph Convolutional Value Decomposition in Multi-Agent Reinforcement
Learning [9.774412108791218]
深層強化学習における値関数分解のための新しい枠組みを提案する。
特に、エージェントのチームは完全有向グラフのノードの集合であると考えている。
我々は,チーム状態-行動値関数を各エージェント毎の観察-行動値関数に分解する混合GNNモジュールを導入し,グローバルチーム報酬の分数で各エージェントに明示的なクレジット割り当てを行う。
論文 参考訳(メタデータ) (2020-10-09T18:01:01Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-26T17:03:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。