論文の概要: Effective and Stable Role-Based Multi-Agent Collaboration by Structural
Information Principles
- arxiv url: http://arxiv.org/abs/2304.00755v1
- Date: Mon, 3 Apr 2023 07:13:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 16:26:26.271177
- Title: Effective and Stable Role-Based Multi-Agent Collaboration by Structural
Information Principles
- Title(参考訳): 構造情報原理による効果的で安定な役割ベース多エージェント協調
- Authors: Xianghua Zeng, Hao Peng, Angsheng Li
- Abstract要約: 本稿では,役割発見のための数学的構造情報に基づく役割発見法,すなわちSIRDを提案する。
次に,マルチエージェント協調のためのSIRD最適化型マルチエージェント強化学習フレームワークSR-MARLを提案する。
具体的には、SIRDは構造化、スパーシフィケーション、最適化モジュールで構成され、最適なエンコーディングツリーを生成して、役割を発見するための抽象化を実行する。
- 参考スコア(独自算出の注目度): 24.49065333729887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Role-based learning is a promising approach to improving the performance of
Multi-Agent Reinforcement Learning (MARL). Nevertheless, without manual
assistance, current role-based methods cannot guarantee stably discovering a
set of roles to effectively decompose a complex task, as they assume either a
predefined role structure or practical experience for selecting
hyperparameters. In this article, we propose a mathematical Structural
Information principles-based Role Discovery method, namely SIRD, and then
present a SIRD optimizing MARL framework, namely SR-MARL, for multi-agent
collaboration. The SIRD transforms role discovery into a hierarchical action
space clustering. Specifically, the SIRD consists of structuralization,
sparsification, and optimization modules, where an optimal encoding tree is
generated to perform abstracting to discover roles. The SIRD is agnostic to
specific MARL algorithms and flexibly integrated with various value function
factorization approaches. Empirical evaluations on the StarCraft II
micromanagement benchmark demonstrate that, compared with state-of-the-art MARL
algorithms, the SR-MARL framework improves the average test win rate by 0.17%,
6.08%, and 3.24%, and reduces the deviation by 16.67%, 30.80%, and 66.30%,
under easy, hard, and super hard scenarios.
- Abstract(参考訳): ロールベース学習はマルチエージェント強化学習(marl)の性能を向上させるための有望なアプローチである。
しかしながら、現在のロールベースのメソッドでは、事前に定義されたロール構造か、ハイパーパラメータを選択するための実践的な経験のいずれかを前提として、複雑なタスクを効果的に分解する一連のロールを安定して発見することは保証できない。
本稿では、SIRDという数学的構造情報原理に基づくロールディスカバリ手法を提案し、マルチエージェント協調のためのSIRD最適化MARLフレームワーク、SR-MARLを提案する。
SIRDはロール発見を階層的なアクション空間クラスタリングに変換する。
具体的には、SIRDは構造化、スパーシフィケーション、最適化モジュールで構成され、最適なエンコーディングツリーを生成して、役割を発見するための抽象化を実行する。
SIRDは特定のMARLアルゴリズムに非依存であり、様々な値関数分解アプローチと柔軟に統合される。
StarCraft IIマイクロマネジメントベンチマークの実証的な評価は、最先端のMARLアルゴリズムと比較して、SR-MARLフレームワークは平均テストの勝利率を0.17%、6.08%、3.24%改善し、容易でハードなシナリオ下では16.67%、30.80%、66.30%の偏差を減少させることを示した。
関連論文リスト
- Multi-Agent Reinforcement Learning with a Hierarchy of Reward Machines [5.600971575680638]
Reward Machines (RMs) を用いた協調型マルチエージェント強化学習(MARL)問題の検討
より複雑なシナリオを扱えるRM(MAHRM)階層のマルチエージェント強化学習を提案する。
3つの協調MARLドメインの実験結果から、MAHRMは、他のMARLメソッドよりも高いレベルの事象の事前知識の方が優れていることが示された。
論文 参考訳(メタデータ) (2024-03-08T06:38:22Z) - Provable Risk-Sensitive Distributional Reinforcement Learning with
General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。
モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-02-28T08:43:18Z) - Learning Multiple Coordinated Agents under Directed Acyclic Graph
Constraints [20.45657219304883]
本稿では,有向非巡回グラフ(DAG)制約下で複数の協調エージェントを学習する新しいマルチエージェント強化学習(MARL)法を提案する。
既存のMARL手法とは異なり,本手法ではエージェント間のDAG構造を明示的に利用し,より効果的な学習性能を実現する。
論文 参考訳(メタデータ) (2023-07-13T13:41:24Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。
これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。
提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文 参考訳(メタデータ) (2023-03-24T15:12:28Z) - Multi-Agent Reinforcement Learning for Microprocessor Design Space
Exploration [71.95914457415624]
マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。
この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。
評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
論文 参考訳(メタデータ) (2022-11-29T17:10:24Z) - Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent
RL [107.58821842920393]
我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する
MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。
分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2022-06-01T04:58:52Z) - Multi-Agent Reinforcement Learning via Adaptive Kalman Temporal
Difference and Successor Representation [32.80370188601152]
本稿では,マルチエージェント適応カルマン時間差分(MAK-TD)フレームワークとその継承表現に基づく変種(MAK-SR)を提案する。
提案するMAK-TD/SRフレームワークは,高次元マルチエージェント環境に関連付けられたアクション空間の連続的な性質を考察する。
論文 参考訳(メタデータ) (2021-12-30T18:21:53Z) - RODE: Learning Roles to Decompose Multi-Agent Tasks [69.56458960841165]
ロールベースの学習は、ロールを使って複雑なタスクを分解することで、スケーラブルなマルチエージェント学習を実現するという約束を持っている。
本稿では,まず,環境および他のエージェントに対する影響に応じて協調行動空間をクラスタリングすることで,制約された役割行動空間に分解することを提案する。
これらの進歩により、我々の手法は、挑戦的なStarCraft IIマイクロマネジメントベンチマークを構成する14シナリオのうち10シナリオにおいて、現在の最先端のMARLアルゴリズムよりも優れています。
論文 参考訳(メタデータ) (2020-10-04T09:20:59Z) - Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in
Cooperative Tasks [11.480994804659908]
マルチエージェント深部強化学習(MARL)は、一般的に使われている評価課題や基準の欠如に悩まされている。
我々は,MARLアルゴリズムの3つのクラスを体系的に評価し,比較する。
我々の実験は、異なる学習課題におけるアルゴリズムの期待性能の基準として機能する。
論文 参考訳(メタデータ) (2020-06-14T11:22:53Z) - MM-KTD: Multiple Model Kalman Temporal Differences for Reinforcement
Learning [36.14516028564416]
本稿では、最適制御ポリシーを学習するための革新的マルチモデルカルマン時間差分(MM-KTD)フレームワークを提案する。
システムのサンプリング効率を高めるために,能動的学習法を提案する。
実験の結果, MM-KTDフレームワークは最先端のフレームワークに比べて優れていた。
論文 参考訳(メタデータ) (2020-05-30T06:39:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。