論文の概要: IMP-MARL: a Suite of Environments for Large-scale Infrastructure Management Planning via MARL

• arxiv url: http://arxiv.org/abs/2306.11551v2
• Date: Fri, 27 Oct 2023 14:29:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 17:27:25.383877
• Title: IMP-MARL: a Suite of Environments for Large-scale Infrastructure Management Planning via MARL
• Title（参考訳）: IMP-MARL:MARLによる大規模インフラ管理計画のための環境スイート
• Authors: Pascal Leroy, Pablo G. Morato, Jonathan Pisane, Athanasios Kolios, Damien Ernst
• Abstract要約: 大規模なインフラ管理計画(IMP)のためのマルチエージェント強化学習(MARL)環境のオープンソーススイートであるIMP-MARLを紹介する。 IMPでは、各エージェントが特定のシステムコンポーネントの検査と修理を計画し、システムの障害リスクを最小限に抑えながらメンテナンスコストを最小化することを目的としている。 我々は、最先端の協調型MARL手法のスケーラビリティと性能を専門家によるポリシーと比較するベンチマークキャンペーンを実施している。
• 参考スコア（独自算出の注目度）: 1.75493501156941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce IMP-MARL, an open-source suite of multi-agent reinforcement learning (MARL) environments for large-scale Infrastructure Management Planning (IMP), offering a platform for benchmarking the scalability of cooperative MARL methods in real-world engineering applications. In IMP, a multi-component engineering system is subject to a risk of failure due to its components' damage condition. Specifically, each agent plans inspections and repairs for a specific system component, aiming to minimise maintenance costs while cooperating to minimise system failure risk. With IMP-MARL, we release several environments including one related to offshore wind structural systems, in an effort to meet today's needs to improve management strategies to support sustainable and reliable energy systems. Supported by IMP practical engineering environments featuring up to 100 agents, we conduct a benchmark campaign, where the scalability and performance of state-of-the-art cooperative MARL methods are compared against expert-based heuristic policies. The results reveal that centralised training with decentralised execution methods scale better with the number of agents than fully centralised or decentralised RL approaches, while also outperforming expert-based heuristic policies in most IMP environments. Based on our findings, we additionally outline remaining cooperation and scalability challenges that future MARL methods should still address. Through IMP-MARL, we encourage the implementation of new environments and the further development of MARL methods.
• Abstract（参考訳）: 本稿では,大規模なインフラ管理計画(IMP)のためのマルチエージェント強化学習(MARL)環境のオープンソーススイートであるIMP-MARLを紹介する。 IMPでは、多成分工学系は、部品の損傷条件により故障する危険性がある。 具体的には、各エージェントは、システム障害リスクを最小限に抑えつつ、メンテナンスコストを最小限に抑えながら、特定のシステムコンポーネントの検査と修復を計画する。 IMP-MARLでは、持続的で信頼性の高いエネルギーシステムを支援するための経営戦略の改善に向けた今日のニーズを満たすため、オフショア風力構造システムに関連するものを含むいくつかの環境をリリースする。 IMPの実践的エンジニアリング環境によって最大100個のエージェントがサポートされ、最先端の協調型MARL手法のスケーラビリティと性能を専門家によるヒューリスティックポリシーと比較するベンチマークキャンペーンを実施している。 その結果、分散実行方式による集中型トレーニングは、完全に集中化されたRLアプローチや分散化されたRLアプローチよりもエージェント数でスケールし、多くのIMP環境で専門家ベースのヒューリスティックポリシーよりも優れていた。 この結果に基づき、今後のMARL手法が取り組まなければならないコラボレーションとスケーラビリティの課題についても概説する。 IMP-MARL を通じて,新しい環境の実装と MARL 手法のさらなる開発を奨励する。

関連論文リスト

• CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments [90.29937153770835]
  CRMArenaは、プロフェッショナルな作業環境に根ざした現実的なタスクにおいて、AIエージェントを評価するために設計されたベンチマークである。 現状のLDMエージェントはReActプロンプトのタスクの40%以下で成功し,機能呼び出し能力でも55%以下であった。 この結果から,実環境に展開する関数呼び出しやルールフォローにおいて,エージェント機能の向上の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-11-04T17:30:51Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• On-Device LLMs for SMEs: Challenges and Opportunities [16.335180583743885]
  本稿では,中小企業(中小企業)の文脈における大規模言語モデル(LLM)をデバイス上で展開するためのインフラ要件に焦点を当てる。 ハードウェアの観点から、GPUやTPUなどの処理ユニットの利用、効率的なメモリとストレージソリューション、効率的なデプロイメント戦略について議論する。 ソフトウェアの観点から、我々は、フレームワークの互換性、オペレーティングシステムの最適化、リソース制約のある環境に適した特別なライブラリの使用について検討する。
  論文  参考訳（メタデータ） (2024-10-21T14:48:35Z)
• Multi-agent Reinforcement Learning for Dynamic Dispatching in Material Handling Systems [5.050348337816326]
  本稿では,動的ディスパッチ戦略を学習するためのマルチエージェント強化学習(MARL)手法を提案する。 本手法をベンチマークするために,実システムの複雑さを反映した物質処理環境を開発した。
  論文  参考訳（メタデータ） (2024-09-27T03:57:54Z)
• Certifiably Robust Policies for Uncertain Parametric Environments [57.2416302384766]
  本稿ではパラメータ上の未知分布を持つパラメトリックマルコフ決定プロセス(MDP)に基づくフレームワークを提案する。 パラメータによって誘導される未知のサンプル環境に対するIMDPの学習と解析を行う。 当社のアプローチは,信頼度の高い政策のパフォーマンスに厳密な拘束力をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-08-06T10:48:15Z)
• Effective and Stable Role-Based Multi-Agent Collaboration by Structural Information Principles [24.49065333729887]
  本稿では,役割発見のための数学的構造情報に基づく役割発見法,すなわちSIRDを提案する。 次に,マルチエージェント協調のためのSIRD最適化型マルチエージェント強化学習フレームワークSR-MARLを提案する。 具体的には、SIRDは構造化、スパーシフィケーション、最適化モジュールで構成され、最適なエンコーディングツリーを生成して、役割を発見するための抽象化を実行する。
  論文  参考訳（メタデータ） (2023-04-03T07:13:44Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• Inference and dynamic decision-making for deteriorating systems with probabilistic dependencies through Bayesian networks and deep reinforcement learning [0.0]
  劣化する環境に露呈するエンジニアリングシステムに対して,不確実性を考慮した推論と意思決定のための効率的なアルゴリズムフレームワークを提案する。 政策最適化の観点では、深層分散型マルチエージェントアクター・クリティカル(DDMAC)強化学習アプローチを採用する。 その結果、DDMACポリシーは最先端のアプローチと比較して大きな利点をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-09-02T14:45:40Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• Greedy UnMixing for Q-Learning in Multi-Agent Reinforcement Learning [8.883885464358737]
  本稿では,協調型マルチエージェント強化学習(MARL)のためのGreedy UnMix(GUM)を紹介する。 これは、MARL法が大きな共同状態-作用空間の一部として値の過大評価によって失敗するシナリオを避けることを目的としている。 我々は,既存のQ-learning MARL手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-19T00:35:18Z)
• MARS-Gym: A Gym framework to model, train, and evaluate Recommender Systems for Marketplaces [51.123916699062384]
  MARS-Gymは、市場におけるレコメンデーションのための強化学習エージェントの構築と評価を行うオープンソースフレームワークである。 本稿では,Trivagoマーケットプレースデータセットにおいて,さまざまなベースラインエージェントの実装とメトリクス駆動による分析を行う。 学術研究と生産システムとのギャップを埋め、新しいアルゴリズムやアプリケーションの設計を容易にしたいと考えている。
  論文  参考訳（メタデータ） (2020-09-30T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。