論文の概要: Boosting Sample Efficiency and Generalization in Multi-agent Reinforcement Learning via Equivariance
- arxiv url: http://arxiv.org/abs/2410.02581v3
- Date: Tue, 22 Oct 2024 16:26:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 02:22:08.465348
- Title: Boosting Sample Efficiency and Generalization in Multi-agent Reinforcement Learning via Equivariance
- Title（参考訳）: 等分散によるマルチエージェント強化学習におけるサンプル効率の向上と一般化
- Authors: Joshua McClellan, Naveed Haghani, John Winder, Furong Huang, Pratap Tokekar,
- Abstract要約: MARL(Multi-Agent Reinforcement Learning)は、サンプルの非効率性と一般化の欠如に苦慮する。
探索型等変グラフニューラルネットワーク(E2GN2)を提案する。
E2GN2は, 試料効率, 最終報酬収束率, 標準GNNよりも2x-5倍向上したことを示す。
- 参考スコア（独自算出の注目度）: 34.322201578399394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-Agent Reinforcement Learning (MARL) struggles with sample inefficiency and poor generalization [1]. These challenges are partially due to a lack of structure or inductive bias in the neural networks typically used in learning the policy. One such form of structure that is commonly observed in multi-agent scenarios is symmetry. The field of Geometric Deep Learning has developed Equivariant Graph Neural Networks (EGNN) that are equivariant (or symmetric) to rotations, translations, and reflections of nodes. Incorporating equivariance has been shown to improve learning efficiency and decrease error [ 2 ]. In this paper, we demonstrate that EGNNs improve the sample efficiency and generalization in MARL. However, we also show that a naive application of EGNNs to MARL results in poor early exploration due to a bias in the EGNN structure. To mitigate this bias, we present Exploration-enhanced Equivariant Graph Neural Networks or E2GN2. We compare E2GN2 to other common function approximators using common MARL benchmarks MPE and SMACv2. E2GN2 demonstrates a significant improvement in sample efficiency, greater final reward convergence, and a 2x-5x gain in over standard GNNs in our generalization tests. These results pave the way for more reliable and effective solutions in complex multi-agent systems.
- Abstract（参考訳）: MARL(Multi-Agent Reinforcement Learning)は、サンプルの非効率性と一般化の貧弱さに苦慮する。
これらの課題の一部は、一般的にポリシーを学ぶのに使用されるニューラルネットワークの構造や帰納バイアスの欠如によるものだ。
マルチエージェントシナリオでよく見られるそのような構造の1つは対称性である。
Geometric Deep Learningの分野は、ノードの回転、翻訳、反射に同変(あるいは対称)するEquivariant Graph Neural Networks (EGNN)を開発した。
等式を組み込むことにより,学習効率の向上と誤りの低減が図られている [2 ]。
本稿では,EGNNがMARLのサンプル効率と一般化を改善することを実証する。
しかし, EGNNのMARLへの適用は, EGNN構造に偏りがあるため, 早期探索が困難であることが示唆された。
このバイアスを軽減するために、探索強化等変グラフニューラルネットワーク(E2GN2)を提案する。
一般的な MARL ベンチマーク MPE と SMACv2 を用いて,E2GN2 と他の共通関数近似器を比較した。
E2GN2は, 試料効率の大幅な向上, 最終報酬収束の増大, 一般化試験における標準GNNの2x-5倍の上昇を示す。
これらの結果は、複雑なマルチエージェントシステムにおけるより信頼性が高く効果的なソリューションの道を開いた。
関連論文リスト
- Gaussian Mixture Models Based Augmentation Enhances GNN Generalization [22.04352144324223]
本稿では,Rademacher複雑性を用いた理論的枠組みを導入し,一般化誤差を計算した。
このフレームワークは、グラフデータ拡張(GDA)アルゴリズムであるGMM-GDAの設計を通知する。
論文 参考訳（メタデータ） (2024-11-13T14:26:04Z) - Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。
本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。
本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
論文 参考訳（メタデータ） (2024-08-25T16:00:44Z) - E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification [30.55931541782854]
本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。
ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。
さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
論文 参考訳（メタデータ） (2024-05-06T12:11:46Z) - Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳（メタデータ） (2024-02-18T07:49:22Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - Fuzzy Generative Adversarial Networks [0.0]
Generative Adversarial Networks (GAN) は、データ生成と半教師付き分類のためのよく知られたツールである。
本稿では,平均絶対誤差(MAE)と平均二乗誤差(MSE)によるGANの回帰能力の向上を示す手法を提案する。
ファジィ論理層を追加することで、GANの回帰処理能力が向上し、最も望ましい注入位置は問題固有であることが示される。
論文 参考訳（メタデータ） (2021-10-27T17:05:06Z) - Efficient Construction of Nonlinear Models over Normalized Data [21.531781003420573]
混合モデルを構築するためにバイナリ結合とマルチウェイ結合の両方を系統的に分解する方法を示す。
本稿では,ネットワークの学習を因子的に行うアルゴリズムを提案し,性能上の優位性を提供する。
論文 参考訳（メタデータ） (2020-11-23T19:20:03Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。