論文の概要: ${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative
Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2308.11842v2
- Date: Fri, 2 Feb 2024 14:12:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:08:11.793080
- Title: ${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative
Multi-Agent Reinforcement Learning
- Title(参考訳): 協調型マルチエージェント強化学習のための${\rm E}(3)$-equivariant Actor-Critic法
- Authors: Dingyang Chen, Qi Zhang
- Abstract要約: 我々は,ある協調型マルチエージェント強化学習問題に固有のユークリッド対称性の活用に焦点をあてる。
我々は,マルチエージェントアクター批判手法の帰納バイアスとして,対称的制約を組み込んだニューラルネットワークアーキテクチャを設計する。
- 参考スコア(独自算出の注目度): 9.111679916965276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identification and analysis of symmetrical patterns in the natural world have
led to significant discoveries across various scientific fields, such as the
formulation of gravitational laws in physics and advancements in the study of
chemical structures. In this paper, we focus on exploiting Euclidean symmetries
inherent in certain cooperative multi-agent reinforcement learning (MARL)
problems and prevalent in many applications. We begin by formally
characterizing a subclass of Markov games with a general notion of symmetries
that admits the existence of symmetric optimal values and policies. Motivated
by these properties, we design neural network architectures with symmetric
constraints embedded as an inductive bias for multi-agent actor-critic methods.
This inductive bias results in superior performance in various cooperative MARL
benchmarks and impressive generalization capabilities such as zero-shot
learning and transfer learning in unseen scenarios with repeated symmetric
patterns. The code is available at: https://github.com/dchen48/E3AC.
- Abstract(参考訳): 自然界における対称的パターンの同定と分析は、物理学における重力法則の定式化や化学構造の研究の進展など、様々な科学分野において重要な発見をもたらした。
本稿では,ある協調型マルチエージェント強化学習(MARL)問題に固有のユークリッド対称性を活用することに着目し,多くの応用で広く利用されている。
まず、対称最適値とポリシーの存在を認める対称性の一般概念でマルコフゲームのサブクラスを正式に特徴づけることから始める。
これらの特性により、我々はマルチエージェントアクター批判手法の帰納バイアスとして対称制約を組み込んだニューラルネットワークアーキテクチャを設計する。
この帰納バイアスは、様々な協調型MARLベンチマークにおける優れた性能と、繰り返し対称パターンを持つ未知のシナリオにおけるゼロショット学習や転送学習のような印象的な一般化能力をもたらす。
コードはhttps://github.com/dchen48/e3ac。
関連論文リスト
- A Unified Framework to Enforce, Discover, and Promote Symmetry in
Machine Learning [5.582881461692378]
機械学習モデルに対称性を組み込むための統一理論および方法論の枠組みを提供する。
対称性の強制と発見は、リー微分の双線型構造に対して双対である線形代数的タスクであることを示す。
これらのアイデアを、基底関数回帰、動的システム発見、多層パーセプトロン、画像などの空間場に作用するニューラルネットワークなど、幅広い機械学習モデルに適用する方法について説明する。
論文 参考訳(メタデータ) (2023-11-01T01:19:54Z) - Multi-constrained Symmetric Nonnegative Latent Factor Analysis for
Accurately Representing Large-scale Undirected Weighted Networks [2.1797442801107056]
ビッグデータ関連アプリケーションでは、Undirected Weighted Network (UWN) が頻繁に発生する。
解析モデルは、UWNの固有対称性を記述するために、その対称性トポロジーを慎重に考慮する必要がある。
本稿では,2次元アイデアを用いた多制約対称性非負遅延要素分析モデルを提案する。
論文 参考訳(メタデータ) (2023-06-06T14:13:16Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳(メタデータ) (2023-01-13T16:25:25Z) - Representation Theory for Geometric Quantum Machine Learning [0.0]
古典的機械学習の最近の進歩は、問題の対称性を符号化する帰納的バイアスを持つモデルを作成することにより、性能が大幅に向上することを示している。
幾何学量子機械学習(GQML)は、問題固有の量子認識モデルの開発において重要な役割を果たす。
本稿では、離散的および連続的なグループを含む主要な例によって駆動される量子学習の光学から表現論ツールを紹介する。
論文 参考訳(メタデータ) (2022-10-14T17:25:36Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳(メタデータ) (2022-06-14T12:30:11Z) - Exploiting symmetry in variational quantum machine learning [0.5541644538483947]
変分量子機械学習は、短期量子コンピュータの広範囲にわたる応用である。
我々は、標準ゲートセットが、目の前の問題の対称性を尊重する同変ゲートセットにどのように変換されるかを示す。
提案手法を,非自明な対称性を特徴とする2つの玩具問題に対してベンチマークし,一般化性能の大幅な向上を観察する。
論文 参考訳(メタデータ) (2022-05-12T17:01:41Z) - On the Importance of Asymmetry for Siamese Representation Learning [53.86929387179092]
シームズネットワークは、2つの並列エンコーダと概念的に対称である。
ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。
非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
論文 参考訳(メタデータ) (2022-04-01T17:57:24Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳(メタデータ) (2022-03-14T17:24:03Z) - Symmetry Group Equivariant Architectures for Physics [52.784926970374556]
機械学習の分野では、対称性に対する認識が目覚ましいパフォーマンスのブレークスルーを引き起こしている。
物理学のコミュニティと、より広い機械学習のコミュニティの両方に、理解すべきことがたくさんある、と私たちは主張する。
論文 参考訳(メタデータ) (2022-03-11T18:27:04Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Incorporating Symmetry into Deep Dynamics Models for Improved
Generalization [24.363954435050264]
本稿では,畳み込みニューラルネットワークに対称性を組み込むことにより,精度の向上と一般化を提案する。
我々のモデルは、対称性群変換による分布シフトに対して理論的かつ実験的に堅牢である。
画像やテキストアプリケーションと比較して、我々の研究は、高次元システムに同変ニューラルネットワークを適用するための重要なステップである。
論文 参考訳(メタデータ) (2020-02-08T01:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。