論文の概要: HypeMARL: Multi-Agent Reinforcement Learning For High-Dimensional, Parametric, and Distributed Systems

• arxiv url: http://arxiv.org/abs/2509.16709v1
• Date: Sat, 20 Sep 2025 14:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.936551
• Title: HypeMARL: Multi-Agent Reinforcement Learning For High-Dimensional, Parametric, and Distributed Systems
• Title（参考訳）: HypeMARL:高次元・パラメトリック・分散システムのためのマルチエージェント強化学習
• Authors: Nicolò Botteghi, Matteo Tomasetto, Urban Fasel, Francesco Braghin, Andrea Manzoni,
• Abstract要約: HypeMARLは高次元・パラメトリック・分散システムの制御に適した分散強化学習アルゴリズムである。 我々は,HypeMARLがエージェントの集団行動を通じてシステムを効果的に制御できることを示す。
• 参考スコア（独自算出の注目度）: 3.072554747025686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning has recently emerged as a promising feedback control strategy for complex dynamical systems governed by partial differential equations (PDEs). When dealing with distributed, high-dimensional problems in state and control variables, multi-agent reinforcement learning (MARL) has been proposed as a scalable approach for breaking the curse of dimensionality. In particular, through decentralized training and execution, multiple agents cooperate to steer the system towards a target configuration, relying solely on local state and reward information. However, the principle of locality may become a limiting factor whenever a collective, nonlocal behavior of the agents is crucial to maximize the reward function, as typically happens in PDE-constrained optimal control problems. In this work, we propose HypeMARL: a decentralized MARL algorithm tailored to the control of high-dimensional, parametric, and distributed systems. HypeMARL employs hypernetworks to effectively parametrize the agents' policies and value functions with respect to the system parameters and the agents' relative positions, encoded by sinusoidal positional encoding. Through the application on challenging control problems, such as density and flow control, we show that HypeMARL (i) can effectively control systems through a collective behavior of the agents, outperforming state-of-the-art decentralized MARL, (ii) can efficiently deal with parametric dependencies, (iii) requires minimal hyperparameter tuning and (iv) can reduce the amount of expensive environment interactions by a factor of ~10 thanks to its model-based extension, MB-HypeMARL, which relies on computationally efficient deep learning-based surrogate models approximating the dynamics locally, with minimal deterioration of the policy performance.
• Abstract（参考訳）: 深部強化学習は、偏微分方程式(PDE)によって支配される複雑な力学系に対する有望なフィードバック制御戦略として最近登場した。 状態変数と制御変数の分散高次元問題を扱う場合、次元性の呪いを解くためのスケーラブルなアプローチとしてマルチエージェント強化学習(MARL)が提案されている。 特に、分散化されたトレーニングと実行を通じて、複数のエージェントが協力し、システムの目標設定に向けて、ローカル状態と報奨情報のみに依存する。 しかし、PDE制約の最適制御問題のように、エージェントの集合的非局所的な振る舞いが報酬関数の最大化に不可欠である場合、局所性の原理は制限要因となる。 本研究では,高次元,パラメトリック,分散システムの制御に適した分散MARLアルゴリズムであるHypeMARLを提案する。 HypeMARLは、エージェントのポリシーと値関数を、システムパラメータとエージェントの相対位置に関して効果的にパラメトリズするためにハイパーネットを使用し、正弦波位置符号化によって符号化される。 密度や流量制御といった難易度制御問題への応用を通して,HypeMARLが有効であることを示す。 i) エージェントの集団行動を通じてシステムを効果的に制御することができ、最先端の分散MARLよりも優れた性能を発揮する。 (ii)パラメトリック依存関係を効率的に扱うことができる。 (三)極小のハイパーパラメータチューニング、及び MB-HypeMARLは計算効率のよい深層学習に基づく代理モデルを局所的に近似し、ポリシー性能の低下を最小限に抑えている。

関連論文リスト

• Strategic Coordination for Evolving Multi-agent Systems: A Hierarchical Reinforcement and Collective Learning Approach [0.0]
  強化学習は、シーケンシャルな意思決定をモデル化する方法を提供する。 エージェントは、MARLを使用して高レベル戦略を採り、アクションスペース削減のためのプランをグループ化する。 低レベルの集団学習層は、効率的で分散化された協調的な決定を保証する。
  論文  参考訳（メタデータ） (2025-09-22T17:58:45Z)
• Heterogeneous Group-Based Reinforcement Learning for LLM-based Multi-Agent Systems [25.882461853973897]
  本稿では、相対報酬の利点を推定して政策更新を導くマルチエージェント不均一グループ政策最適化(MHGPO)を提案する。 MHGPOは、批判的ネットワークの必要性を排除し、安定性を向上し、計算オーバーヘッドを減らす。 また,効率性と有効性を両立させる3つのグループロールアウトサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2025-06-03T10:17:19Z)
• Learning Decentralized Partially Observable Mean Field Control for Artificial Collective Behavior [28.313779052437134]
  分散部分観測可能なMFC(Dec-POMFC)の新しいモデルを提案する。 動的プログラミング原理を含む厳密な理論結果を提供する。 全体として、我々のフレームワークは、MFCによる人工集合行動のRLに基づく工学への一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-07-12T14:02:03Z)
• The challenge of redundancy on multi-agent value factorisation [12.63182277116319]
  協調型マルチエージェント強化学習(MARL)の分野において、標準パラダイムは集中型トレーニングと分散実行の利用である。 そこで我々は,LRP(Layerwise Relevance propagation)を利用して,結合値関数の学習と局所報酬信号の生成を分離する手法を提案する。 VDNとQmixの両方のベースラインの性能は冗長エージェントの数によって低下するが、RDNは影響を受けない。
  論文  参考訳（メタデータ） (2023-03-28T20:41:12Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in Edge Industrial IoT [106.83952081124195]
  強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。 本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。 実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T16:49:07Z)
• Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent Control [3.3788926259119645]
  分散マルチエージェント制御では、システムは未知あるいは非常に不確実なダイナミクスで複雑である。 深層強化学習(DRL)は、システムダイナミクスを知らずに、データからコントローラや政治を学ぶことを約束している。 既存のマルチエージェント強化学習(MARL)アルゴリズムは、マルチエージェントシステムの閉ループ安定性を保証することができない。 安定保証付き分散マルチエージェント制御のための新しいMARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-20T06:11:42Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning [55.20040781688844]
  QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。 深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
  論文  参考訳（メタデータ） (2020-03-19T16:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。