論文の概要: CoRe-MARL: Cooperative Redistribution Under Unknown Dynamics Using Recurrent Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.18639v1
• Date: Wed, 16 Sep 2026 13:25:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.818163
• Title: CoRe-MARL: Cooperative Redistribution Under Unknown Dynamics Using Recurrent Multi-Agent Reinforcement Learning
• Title（参考訳）: CoRe-MARL:リカレントマルチエージェント強化学習を用いた未知のダイナミクス下での協調的再分配
• Abstract要約: 緊急管理支援プログラムは、地方センターの分散ネットワークで運用されている。 本研究では,協調型マルチエージェント強化学習フレームワークCoRe-MARLを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergency management assistance programs, such as relief distribution, are essential for delivering necessary supplies to affected communities. However, these programs operate in a decentralized network of local centers that face uncertain local demand and supply dynamics, resulting in inconsistent avail- ability of local services. Redistribution of supplies among these local centers reduces these imbalances, but the centers often make decisions independently, with limited information and disrupted transportation. This study develops CoRe-MARL, a cooperative multi-agent reinforcement learning (MARL) framework, by formulating a decentralized partially observable Markov decision process (Dec-POMDP). We treat each center as an agent that learns a redistribution policy to improve the service in the worst-case region and reduce the service gap across regions while protecting network-wide service. We incorporate a recurrent network that captures evolving supply and demand dynamics without direct observation, while multi-agent proximal policy optimization (MAPPO) enables centralized training and decentralized execution (CTDE). We evaluate the framework in a simulated environment with diverse trajectories, where exact dynamics are not observed by actors and the MAPPO critic. We compare the recurrent MAPPO with the recurrent independent PPO (IPPO) and a local only heuristic, and find that MAPPO reduces the service gap across local centers and enhances service for the worst-served center while maintaining competitive network-wide service. The recurrent MAPPO also shows consistent performance across diverse trajectory patterns, demonstrating its ability to adapt to evolving dynamics. The findings demonstrate the capability of cooperative learning for decentralized redistribution and improving equitable service under uncertain and evolving dynamics.
• Abstract（参考訳）: 地域社会に必要な物資を届けるためには, 救援などの緊急管理支援プログラムが不可欠である。 しかし、これらのプログラムは、地域需要と供給のダイナミクスが不確実な地域中心の分散ネットワークで運用されており、その結果、地方サービスの有効性には矛盾する。 これらの地域中心の物資の再分配はこれらの不均衡を減少させるが、中央は限られた情報と交通手段を乱して独立して決断を下すことが多い。 本研究では、分散化された部分的に観測可能なマルコフ決定プロセス(Dec-POMDP)を定式化することにより、協調型マルチエージェント強化学習(MARL)フレームワークであるCoRe-MARLを開発する。 我々は,各センターを,ネットワーク全体のサービス保護を図りながら,最悪の地域におけるサービス改善と地域間のサービスギャップを低減するために再分配ポリシーを学習するエージェントとして扱う。 一方,MAPPO(Multi-Adnt proximal Policy Optimization)は,集中学習と分散実行(CTDE)を可能にする。 我々は,アクターやMAPPO評論家が正確なダイナミクスを観察できない,多様な軌道を持つシミュレーション環境におけるフレームワークの評価を行った。 本研究は, MAPPOとIPPO (Recurrent independent PPO) と局所的唯一のヒューリスティック(英語版)を比較し, MAPPOが地域間におけるサービスギャップを減らし, ネットワーク全体の競争力を維持しながら, 最悪のサービスセンターのサービスを向上することを見出した。 リカレントMAPPOはまた、様々な軌道パターンに対して一貫した性能を示し、進化するダイナミクスに適応する能力を示している。 本研究は, 分散的再分配のための協調学習の能力と, 不確実かつ進化的な動的条件下での公平なサービス向上を実証するものである。

関連論文リスト

• Multi-Agent Deep Reinforcement Learning Under Constrained Communications [2.7126292487109005]
  本稿では,集中型批判者やグローバル情報の必要性を解消する分散マルチエージェント強化学習(MARL)フレームワークを提案する。 マルチホップ通信によるグローバルな状態推論を行う新しいグラフ注意ネットワーク(D-GAT)を開発した。 また、エージェントがローカルポリシーや値関数を最適化する分散MARLフレームワークである分散グラフアテンションMAPPO(DG-MAPPO)を開発した。
  論文  参考訳（メタデータ） (2026-01-22T21:07:18Z)
• Imitation Learning based Alternative Multi-Agent Proximal Policy Optimization for Well-Formed Swarm-Oriented Pursuit Avoidance [15.498559530889839]
  本稿では,分散学習に基づく代替的マルチエージェント・プロキシ・ポリシー最適化(IA-MAPPO)アルゴリズムを提案する。 擬似学習を利用して生成コントローラを分散化し,通信オーバーヘッドを低減し,スケーラビリティを向上させる。 シミュレーションの結果,IA-MAPPOの有効性が検証され,広範囲なアブレーション実験により,通信オーバーヘッドが著しく減少する集中型解に匹敵する性能が示された。
  論文  参考訳（メタデータ） (2023-11-06T06:58:16Z)
• Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
  平均フィールドゲームフレームワークにネットワーク通信を導入する。 当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。 ネットワーク化されたアプローチは、障害の更新や人口規模の変化に対する堅牢性という点において、両方の選択肢に対して大きなメリットがあることが示されています。
  論文  参考訳（メタデータ） (2023-06-05T10:45:39Z)
• Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL? [34.00244359590573]
  分散実行によるトレーニングは、協調的マルチエージェント強化学習のための一般的なフレームワークである。 マルチエージェント強化学習のためのCADP(Advising and Decentralized Pruning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-27T03:15:24Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• Mean-Field Multi-Agent Reinforcement Learning: A Decentralized Network Approach [6.802025156985356]
  本稿では,MARLを状態ネットワークで学習するために,局所学習と分散実行というフレームワークを提案する。 鍵となる考え方は、エージェントの均質性を利用し、それらの状態に応じてそれらを再分類することであり、それによってネットワーク化されたマルコフ決定過程が定式化される。
  論文  参考訳（メタデータ） (2021-08-05T16:52:36Z)
• Competing Adaptive Networks [56.56653763124104]
  適応エージェントのチーム間での分散競争のためのアルゴリズムを開発する。 本稿では,生成的対向ニューラルネットワークの分散学習への応用について述べる。
  論文  参考訳（メタデータ） (2021-03-29T14:42:15Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。