論文の概要: IMP-MARL: a Suite of Environments for Large-scale Infrastructure
Management Planning via MARL
- arxiv url: http://arxiv.org/abs/2306.11551v2
- Date: Fri, 27 Oct 2023 14:29:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 17:27:25.383877
- Title: IMP-MARL: a Suite of Environments for Large-scale Infrastructure
Management Planning via MARL
- Title(参考訳): IMP-MARL:MARLによる大規模インフラ管理計画のための環境スイート
- Authors: Pascal Leroy, Pablo G. Morato, Jonathan Pisane, Athanasios Kolios,
Damien Ernst
- Abstract要約: 大規模なインフラ管理計画(IMP)のためのマルチエージェント強化学習(MARL)環境のオープンソーススイートであるIMP-MARLを紹介する。
IMPでは、各エージェントが特定のシステムコンポーネントの検査と修理を計画し、システムの障害リスクを最小限に抑えながらメンテナンスコストを最小化することを目的としている。
我々は、最先端の協調型MARL手法のスケーラビリティと性能を専門家によるポリシーと比較するベンチマークキャンペーンを実施している。
- 参考スコア(独自算出の注目度): 1.75493501156941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce IMP-MARL, an open-source suite of multi-agent reinforcement
learning (MARL) environments for large-scale Infrastructure Management Planning
(IMP), offering a platform for benchmarking the scalability of cooperative MARL
methods in real-world engineering applications. In IMP, a multi-component
engineering system is subject to a risk of failure due to its components'
damage condition. Specifically, each agent plans inspections and repairs for a
specific system component, aiming to minimise maintenance costs while
cooperating to minimise system failure risk. With IMP-MARL, we release several
environments including one related to offshore wind structural systems, in an
effort to meet today's needs to improve management strategies to support
sustainable and reliable energy systems. Supported by IMP practical engineering
environments featuring up to 100 agents, we conduct a benchmark campaign, where
the scalability and performance of state-of-the-art cooperative MARL methods
are compared against expert-based heuristic policies. The results reveal that
centralised training with decentralised execution methods scale better with the
number of agents than fully centralised or decentralised RL approaches, while
also outperforming expert-based heuristic policies in most IMP environments.
Based on our findings, we additionally outline remaining cooperation and
scalability challenges that future MARL methods should still address. Through
IMP-MARL, we encourage the implementation of new environments and the further
development of MARL methods.
- Abstract(参考訳): 本稿では,大規模なインフラ管理計画(IMP)のためのマルチエージェント強化学習(MARL)環境のオープンソーススイートであるIMP-MARLを紹介する。
IMPでは、多成分工学系は、部品の損傷条件により故障する危険性がある。
具体的には、各エージェントは、システム障害リスクを最小限に抑えつつ、メンテナンスコストを最小限に抑えながら、特定のシステムコンポーネントの検査と修復を計画する。
IMP-MARLでは、持続的で信頼性の高いエネルギーシステムを支援するための経営戦略の改善に向けた今日のニーズを満たすため、オフショア風力構造システムに関連するものを含むいくつかの環境をリリースする。
IMPの実践的エンジニアリング環境によって最大100個のエージェントがサポートされ、最先端の協調型MARL手法のスケーラビリティと性能を専門家によるヒューリスティックポリシーと比較するベンチマークキャンペーンを実施している。
その結果、分散実行方式による集中型トレーニングは、完全に集中化されたRLアプローチや分散化されたRLアプローチよりもエージェント数でスケールし、多くのIMP環境で専門家ベースのヒューリスティックポリシーよりも優れていた。
この結果に基づき、今後のMARL手法が取り組まなければならないコラボレーションとスケーラビリティの課題についても概説する。
IMP-MARL を通じて,新しい環境の実装と MARL 手法のさらなる開発を奨励する。
関連論文リスト
- Attention-Driven Multi-Agent Reinforcement Learning: Enhancing Decisions with Expertise-Informed Tasks [1.7689232761699216]
我々は,MARL(Multi-Agent Reinforcement Learning)の強化のための代替手法を提案する。
本手法は,ドメイン固有の専門知識を学習プロセスに組み込むことに重点を置いている。
注意に基づくアプローチが,MARLトレーニングプロセスの効率化に有効であることを示す。
論文 参考訳(メタデータ) (2024-04-08T20:06:33Z) - Heterogeneous Multi-Agent Reinforcement Learning for Zero-Shot Scalable Collaboration [5.326588461041464]
スケーラブルで不均一なポリシー最適化(SHPPO)という新しいフレームワークを提案する。
提案手法は,最先端のバックボーンPPOベースのアルゴリズムであるSHPPOをベースとしている。
SHPPOは、Starcraft Multi-Agent Challenge (SMAC)やGoogle Research Football (GRF)のような古典的なMARL環境において、ベースラインよりも優れたパフォーマンスを示す
論文 参考訳(メタデータ) (2024-04-05T03:02:57Z) - The Synergy Between Optimal Transport Theory and Multi-Agent
Reinforcement Learning [53.88428902493129]
本稿では、最適輸送理論とマルチエージェント強化学習(MARL)の統合について検討する。
OTがMARLに影響を与える5つの重要な領域がある。
本稿では,OTとMARLの相乗効果がスケーラビリティ問題にどのように対処できるかを述べる。
論文 参考訳(メタデータ) (2024-01-18T19:34:46Z) - Effective and Stable Role-Based Multi-Agent Collaboration by Structural
Information Principles [24.49065333729887]
本稿では,役割発見のための数学的構造情報に基づく役割発見法,すなわちSIRDを提案する。
次に,マルチエージェント協調のためのSIRD最適化型マルチエージェント強化学習フレームワークSR-MARLを提案する。
具体的には、SIRDは構造化、スパーシフィケーション、最適化モジュールで構成され、最適なエンコーディングツリーを生成して、役割を発見するための抽象化を実行する。
論文 参考訳(メタデータ) (2023-04-03T07:13:44Z) - Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。
これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。
提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文 参考訳(メタデータ) (2023-03-24T15:12:28Z) - RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。
RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
論文 参考訳(メタデータ) (2022-10-18T07:32:43Z) - Inference and dynamic decision-making for deteriorating systems with
probabilistic dependencies through Bayesian networks and deep reinforcement
learning [0.0]
劣化する環境に露呈するエンジニアリングシステムに対して,不確実性を考慮した推論と意思決定のための効率的なアルゴリズムフレームワークを提案する。
政策最適化の観点では、深層分散型マルチエージェントアクター・クリティカル(DDMAC)強化学習アプローチを採用する。
その結果、DDMACポリシーは最先端のアプローチと比較して大きな利点をもたらすことが示された。
論文 参考訳(メタデータ) (2022-09-02T14:45:40Z) - Locality Matters: A Scalable Value Decomposition Approach for
Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。
本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
論文 参考訳(メタデータ) (2021-09-22T10:08:15Z) - Greedy UnMixing for Q-Learning in Multi-Agent Reinforcement Learning [8.883885464358737]
本稿では,協調型マルチエージェント強化学習(MARL)のためのGreedy UnMix(GUM)を紹介する。
これは、MARL法が大きな共同状態-作用空間の一部として値の過大評価によって失敗するシナリオを避けることを目的としている。
我々は,既存のQ-learning MARL手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-19T00:35:18Z) - MARS-Gym: A Gym framework to model, train, and evaluate Recommender
Systems for Marketplaces [51.123916699062384]
MARS-Gymは、市場におけるレコメンデーションのための強化学習エージェントの構築と評価を行うオープンソースフレームワークである。
本稿では,Trivagoマーケットプレースデータセットにおいて,さまざまなベースラインエージェントの実装とメトリクス駆動による分析を行う。
学術研究と生産システムとのギャップを埋め、新しいアルゴリズムやアプリケーションの設計を容易にしたいと考えている。
論文 参考訳(メタデータ) (2020-09-30T16:39:31Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。