Fugu-MT 論文翻訳(概要): SPECTra: Scalable Multi-Agent Reinforcement Learning with Permutation-Free Networks

論文の概要: SPECTra: Scalable Multi-Agent Reinforcement Learning with Permutation-Free Networks

arxiv url: http://arxiv.org/abs/2503.11726v1
Date: Fri, 14 Mar 2025 04:26:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-18 12:34:32.838903
Title: SPECTra: Scalable Multi-Agent Reinforcement Learning with Permutation-Free Networks
Title（参考訳）: SPECTra: 可変ネットワークによるスケーラブルなマルチエージェント強化学習
Authors: Hyunwoo Park, Baekryun Seong, Sang-Ki Ko,
Abstract要約: 協調型マルチエージェント強化学習(MARL)では, エージェント数とともに状態空間が指数関数的に増大する置換問題により, サンプル効率が低下する。本稿では,置換等価性とスケーラビリティを保証する新しいエージェントネットワークと非線形ミキシングネットワークを提案する。提案手法は既存の手法に比べて優れた学習性能を実現する。
参考スコア（独自算出の注目度）: 3.7687375904925484
License:
Abstract: In cooperative multi-agent reinforcement learning (MARL), the permutation problem where the state space grows exponentially with the number of agents reduces sample efficiency. Additionally, many existing architectures struggle with scalability, relying on a fixed structure tied to a specific number of agents, limiting their applicability to environments with a variable number of entities. While approaches such as graph neural networks (GNNs) and self-attention mechanisms have progressed in addressing these challenges, they have significant limitations as dense GNNs and self-attention mechanisms incur high computational costs. To overcome these limitations, we propose a novel agent network and a non-linear mixing network that ensure permutation-equivariance and scalability, allowing them to generalize to environments with various numbers of agents. Our agent network significantly reduces computational complexity, and our scalable hypernetwork enables efficient weight generation for non-linear mixing. Additionally, we introduce curriculum learning to improve training efficiency. Experiments on SMACv2 and Google Research Football (GRF) demonstrate that our approach achieves superior learning performance compared to existing methods. By addressing both permutation-invariance and scalability in MARL, our work provides a more efficient and adaptable framework for cooperative MARL. Our code is available at https://github.com/funny-rl/SPECTra.
Abstract（参考訳）: 協調型マルチエージェント強化学習(MARL)では, エージェント数とともに状態空間が指数関数的に増大する置換問題により, サンプル効率が低下する。さらに、多くの既存のアーキテクチャはスケーラビリティに苦慮しており、特定の数のエージェントに結びついた固定された構造に依存しており、異なる数のエンティティを持つ環境に適用性を制限する。グラフニューラルネットワーク(GNN)や自己アテンション機構といったアプローチはこれらの課題に対処する上で進歩しているが、密度の高いGNNや自己アテンション機構に高い計算コストがかかるため、大きな制限がある。これらの制約を克服するため,エージェントネットワークと非線形混合ネットワークを提案する。我々のエージェントネットワークは計算複雑性を著しく低減し、スケーラブルなハイパーネットワークは非線形混合の効率的な重量生成を可能にする。さらに,学習効率を向上させるためにカリキュラム学習を導入する。 SMACv2 と Google Research Football (GRF) の実験により,本手法は既存の手法に比べて優れた学習性能が得られることを示した。 MARLにおける置換不変性とスケーラビリティの両方に対処することにより、我々の研究はより効率的で適応可能なMARLフレームワークを提供する。私たちのコードはhttps://github.com/funny-rl/SPECTra.comで利用可能です。

関連論文リスト

FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文参考訳（メタデータ） (2024-10-16T16:13:19Z)
Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文参考訳（メタデータ） (2023-10-17T01:05:28Z)
Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation Learning [13.060023718506917]
模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
論文参考訳（メタデータ） (2023-10-10T17:11:20Z)
A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文参考訳（メタデータ） (2023-09-02T11:01:16Z)
Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
論文参考訳（メタデータ） (2023-08-23T16:42:27Z)
MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
MADiffは拡散型マルチエージェント学習フレームワークである。分散ポリシと集中型コントローラの両方として機能する。実験の結果,MADiffは様々なマルチエージェント学習タスクにおいて,ベースラインアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2023-05-27T02:14:09Z)
Residual Q-Networks for Value Function Factorizing in Multi-Agent Reinforcement Learning [0.0]
マルチエージェント強化学習(MARL)のためのResidual Q-Networks(RQN)の概念を提案する。 RQNは、個人-グローバル-マックス基準(IGM)を保存する方法で、個々のQ値軌跡を変換することを学ぶ提案手法はより高速に収束し、安定性が向上し、より広い環境群で堅牢な性能を示す。
論文参考訳（メタデータ） (2022-05-30T16:56:06Z)
Coordinated Reinforcement Learning for Optimizing Mobile Networks [6.924083445159127]
数百の協調エージェントを含む複雑なアプリケーションにおいて、協調グラフと強化学習の使い方を示す。協調強化学習が他の手法より優れていることを実証的に示す。
論文参考訳（メタデータ） (2021-09-30T14:46:18Z)
Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。コア最適化問題の実用的なパラメトリゼーションを提供する。
論文参考訳（メタデータ） (2021-07-08T18:01:02Z)
Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文参考訳（メタデータ） (2021-03-25T01:48:14Z)
Scaling Up Multiagent Reinforcement Learning for Robotic Systems: Learn an Adaptive Sparse Communication Graph [39.48317026356428]
多エージェント強化学習の複雑さはエージェント数に対して指数関数的に増加する。しばしば無視されるMARLの重要な特徴は、エージェント間の相互作用が極めて疎いことである。疎度誘導活性化関数を一般化した適応的スパースアテンション機構を提案する。提案アルゴリズムは,解釈可能なスパース構造を学習し,大規模マルチエージェントシステムを含むアプリケーションにおいて,従来よりも優れた性能を示すことを示す。
論文参考訳（メタデータ） (2020-03-02T17:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。