論文の概要: QGNN: Value Function Factorisation with Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2205.13005v2
- Date: Tue, 20 Jun 2023 16:53:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 06:17:48.037819
- Title: QGNN: Value Function Factorisation with Graph Neural Networks
- Title（参考訳）: QGNN:グラフニューラルネットワークによる値関数の分解
- Authors: Ryan Kortvelesy and Amanda Prorok
- Abstract要約: 強化学習において、グローバルな目的の利用は協力を動機付ける強力なツールである。
本稿では,グラフニューラルネットワーク(GNN)モデルを用いた最初の値分解手法であるQGNNを提案する。
- 参考スコア（独自算出の注目度）: 8.121462458089143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In multi-agent reinforcement learning, the use of a global objective is a
powerful tool for incentivising cooperation. Unfortunately, it is not
sample-efficient to train individual agents with a global reward, because it
does not necessarily correlate with an agent's individual actions. This problem
can be solved by factorising the global value function into local value
functions. Early work in this domain performed factorisation by conditioning
local value functions purely on local information. Recently, it has been shown
that providing both local information and an encoding of the global state can
promote cooperative behaviour. In this paper we propose QGNN, the first value
factorisation method to use a graph neural network (GNN) based model. The
multi-layer message passing architecture of QGNN provides more representational
complexity than models in prior work, allowing it to produce a more effective
factorisation. QGNN also introduces a permutation invariant mixer which is able
to match the performance of other methods, even with significantly fewer
parameters. We evaluate our method against several baselines, including
QMIX-Att, GraphMIX, QMIX, VDN, and hybrid architectures. Our experiments
include Starcraft, the standard benchmark for credit assignment; Estimate Game,
a custom environment that explicitly models inter-agent dependencies; and
Coalition Structure Generation, a foundational problem with real-world
applications. The results show that QGNN outperforms state-of-the-art value
factorisation baselines consistently.
- Abstract（参考訳）: マルチエージェント強化学習において、グローバルな目的の利用は協力を促す強力なツールである。
残念ながら、個々のエージェントの個々のアクションと必ずしも相関しないため、グローバルな報酬で個々のエージェントを訓練するのはサンプル効率ではない。
この問題は、グローバル値関数を局所値関数に分解することで解決できる。
この領域の初期の研究は、ローカル情報に純粋に局所値関数を条件付けることで分解を行った。
近年,地域情報の提供とグローバル状態のエンコーディングが協調行動を促進することが示されている。
本稿では,グラフニューラルネットワーク(GNN)モデルを用いた最初の値分解手法であるQGNNを提案する。
QGNNの多層メッセージパッシングアーキテクチャは、以前の作業のモデルよりも表現の複雑さを増し、より効果的な分解を生み出す。
QGNNは、パラメータが大幅に少ない場合でも、他のメソッドのパフォーマンスにマッチできる置換不変ミキサも導入している。
提案手法は,QMIX-Att,GraphMIX,QMIX,VDN,ハイブリッドアーキテクチャなど,いくつかのベースラインに対して評価する。
私たちの実験には、クレジット割り当ての標準ベンチマークであるStarcraft、エージェント間の依存関係を明示的にモデル化するカスタム環境であるEstimate Game、現実世界のアプリケーションにおける基本的な問題であるCoalition Structure Generationが含まれています。
その結果、QGNNは最先端の値分解基準を一貫して上回ることがわかった。
関連論文リスト
- Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳（メタデータ） (2024-11-19T08:32:14Z) - Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。
QUBO緩和による損失関数の最小化による教師なし学習に依存している。
実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
論文 参考訳（メタデータ） (2024-07-23T13:34:35Z) - Graph Neural Networks Gone Hogwild [14.665528337423249]
メッセージパッシンググラフニューラルネットワーク(GNN)は、推論中にノードが非同期に更新されると、破滅的に誤った予測を生成する。
本研究では、GNNを、部分的に非同期な"hogwild"推論に対して確実に堅牢なアーキテクチャのクラスとして識別する。
そこで我々は,エネルギーGNNと呼ぶ,暗黙的に定義されたGNNアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-06-29T17:11:09Z) - Towards a General Recipe for Combinatorial Optimization with Multi-Filter GNNs [13.871690454501389]
本稿では,グラフ上のCO問題を解くために,複雑なフィルタバンクと局所的な注意機構を活用する新しいGNNアーキテクチャであるGCONを紹介する。
GCONはすべてのタスクで競争力があり、他の特別なGNNベースのアプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2024-05-31T00:02:07Z) - TOPIQ: A Top-down Approach from Semantics to Distortions for Image
Quality Assessment [53.72721476803585]
画像品質評価(IQA)は、ディープニューラルネットワークによる顕著な進歩を目の当たりにしたコンピュータビジョンの基本課題である。
本稿では,高レベルの意味論を用いてIQAネットワークを誘導し,意味的に重要な局所歪み領域に注目するトップダウンアプローチを提案する。
提案手法の重要な要素は,低レベル特徴に対するアテンションマップを算出した,クロススケールアテンション機構である。
論文 参考訳（メタデータ） (2023-08-06T09:08:37Z) - Metric Residual Networks for Sample Efficient Goal-conditioned
Reinforcement Learning [52.59242013527014]
ゴール条件強化学習(GCRL)は、現実世界の幅広い応用の可能性を秘めている。
サンプル効率は、GCRLにとって最も重要であり、デフォルトでは、エージェントはその目標に達するとのみ報酬を受ける。
GCRLのための新しいニューラルアーキテクチャを導入し、一般的なモノリシックネットワークアーキテクチャよりもはるかに優れたサンプリング効率を実現する。
論文 参考訳（メタデータ） (2022-08-17T08:04:41Z) - GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed
Graph Neural Networks [68.61934077627085]
本稿では,グラフ埋め込みを学習可能なGNNと互換性のあるモデリングフレームワークであるGNNRankを紹介する。
既存の手法と比較して,我々の手法が競争力があり,しばしば優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2022-02-01T04:19:50Z) - Local Augmentation for Graph Neural Networks [78.48812244668017]
本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。
局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
論文 参考訳（メタデータ） (2021-09-08T18:10:08Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - Graph Convolutional Value Decomposition in Multi-Agent Reinforcement
Learning [9.774412108791218]
深層強化学習における値関数分解のための新しい枠組みを提案する。
特に、エージェントのチームは完全有向グラフのノードの集合であると考えている。
我々は,チーム状態-行動値関数を各エージェント毎の観察-行動値関数に分解する混合GNNモジュールを導入し,グローバルチーム報酬の分数で各エージェントに明示的なクレジット割り当てを行う。
論文 参考訳（メタデータ） (2020-10-09T18:01:01Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-26T17:03:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。