論文の概要: An Analysis of Multi-Agent Reinforcement Learning for Decentralized
Inventory Control Systems
- arxiv url: http://arxiv.org/abs/2307.11432v1
- Date: Fri, 21 Jul 2023 08:52:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 13:11:53.367300
- Title: An Analysis of Multi-Agent Reinforcement Learning for Decentralized
Inventory Control Systems
- Title（参考訳）: 分散型在庫管理システムにおけるマルチエージェント強化学習の解析
- Authors: Marwan Mousa and Damien van de Berg and Niki Kotecha and Ehecatl
Antonio del Rio-Chanona and Max Mowbray
- Abstract要約: 在庫管理問題に対するほとんどのソリューションは、実際のサプライチェーンネットワークにおける組織的制約とは相容れない情報の集中化を前提としている。
本稿では,多エージェント強化学習を用いた在庫管理問題に対する分散データ駆動型ソリューションを提案する。
以上の結果から,マルチエージェントに近いポリシー最適化を中央集権的批判と組み合わせることで,中央集権的なデータ駆動型ソリューションに近い性能が得られることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most solutions to the inventory management problem assume a centralization of
information that is incompatible with organisational constraints in real supply
chain networks. The inventory management problem is a well-known planning
problem in operations research, concerned with finding the optimal re-order
policy for nodes in a supply chain. While many centralized solutions to the
problem exist, they are not applicable to real-world supply chains made up of
independent entities. The problem can however be naturally decomposed into
sub-problems, each associated with an independent entity, turning it into a
multi-agent system. Therefore, a decentralized data-driven solution to
inventory management problems using multi-agent reinforcement learning is
proposed where each entity is controlled by an agent. Three multi-agent
variations of the proximal policy optimization algorithm are investigated
through simulations of different supply chain networks and levels of
uncertainty. The centralized training decentralized execution framework is
deployed, which relies on offline centralization during simulation-based policy
identification, but enables decentralization when the policies are deployed
online to the real system. Results show that using multi-agent proximal policy
optimization with a centralized critic leads to performance very close to that
of a centralized data-driven solution and outperforms a distributed model-based
solution in most cases while respecting the information constraints of the
system.
- Abstract（参考訳）: 在庫管理問題に対するほとんどのソリューションは、実際のサプライチェーンネットワークにおける組織的制約と互換性のない情報の集中化を前提としている。
在庫管理問題は、サプライチェーンにおけるノードの最適な再注文ポリシーを見つけることに関するオペレーション研究において、よく知られた計画問題である。
この問題に対する多くの集中型ソリューションが存在するが、それらは独立したエンティティからなる実世界のサプライチェーンには適用できない。
しかし、問題は自然に分解され、それぞれが独立した実体に関連付けられ、マルチエージェントシステムへと変換される。
そこで,エージェントが各エンティティを制御するマルチエージェント強化学習を用いて,在庫管理問題に対する分散データ駆動型ソリューションを提案する。
近位政策最適化アルゴリズムの3つのマルチエージェント変動を,異なるサプライチェーンネットワークのシミュレーションと不確実性のレベルを用いて検討した。
集中型トレーニング 分散実行フレームワークは、シミュレーションベースのポリシ識別中にオフライン集中化に依存するが、実際のシステムにポリシがオンラインにデプロイされた場合に分散化を可能にする。
その結果, 集中型評論家によるマルチエージェント近似ポリシー最適化は, 集中型データ駆動型ソリューションに非常に近い性能を示し, システムの情報制約を尊重しながら, 分散モデルベースソリューションよりも優れていることがわかった。
関連論文リスト
- Locally Interdependent Multi-Agent MDP: Theoretical Framework for Decentralized Agents with Dynamic Dependencies [6.015898117103069]
局所的相互依存型マルチエージェントMDPと呼ばれる動的に異なる依存関係を持つ分散モデルの解析を行う。
一般に部分的に観察可能なマルチエージェントシステムの難しさにもかかわらず、3つのクローズドフォームポリシーを提案する。
論文 参考訳（メタデータ） (2024-06-10T22:11:00Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - DePAint: A Decentralized Safe Multi-Agent Reinforcement Learning Algorithm considering Peak and Average Constraints [1.1549572298362787]
本稿では,この問題を解決するために,モーメントに基づく分散勾配法DePaintを提案する。
これは、ピーク制約と平均制約の両方を考慮した、プライバシ保存で完全に分散化されたマルチエージェント強化学習アルゴリズムとしては初めてのものである。
論文 参考訳（メタデータ） (2023-10-22T16:36:03Z) - Identifying contributors to supply chain outcomes in a multi-echelon setting: a decentralised approach [47.00450933765504]
本稿では,推定貢献の分散計算における説明可能な人工知能の利用を提案する。
このアプローチは、サプライチェーンアクターにデータ共有を説得する必要性を緩和する。
その結果,集中型アプローチと比較して,品質変化の源泉を検出する方法の有効性が示された。
論文 参考訳（メタデータ） (2023-07-22T20:03:16Z) - Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via
Trust Region Decomposition [52.06086375833474]
非定常性は多エージェント強化学習における厄介な問題である。
ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。
共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
論文 参考訳（メタデータ） (2021-02-21T14:46:50Z) - Distributed Algorithms for Linearly-Solvable Optimal Control in
Networked Multi-Agent Systems [15.782670973813774]
ネットワーク化されたMASの最適制御問題を複数の局所最適制御問題に分割する分散フレームワークを提案する。
離散時間系では、各サブシステムの合同ベルマン方程式は線形方程式系に変換される。
連続時間系では、各サブシステムの合同最適方程式は線形偏微分方程式に変換される。
論文 参考訳（メタデータ） (2021-02-18T01:31:17Z) - Decentralized Control with Graph Neural Networks [147.84766857793247]
分散コントローラを学習するグラフニューラルネットワーク(GNN)を用いた新しいフレームワークを提案する。
GNNは、自然分散アーキテクチャであり、優れたスケーラビリティと転送性を示すため、タスクに適している。
分散コントローラの学習におけるGNNの可能性を説明するために、群れとマルチエージェントパス計画の問題を検討する。
論文 参考訳（メタデータ） (2020-12-29T18:59:14Z) - Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent
Control [3.3788926259119645]
分散マルチエージェント制御では、システムは未知あるいは非常に不確実なダイナミクスで複雑である。
深層強化学習(DRL)は、システムダイナミクスを知らずに、データからコントローラや政治を学ぶことを約束している。
既存のマルチエージェント強化学習(MARL)アルゴリズムは、マルチエージェントシステムの閉ループ安定性を保証することができない。
安定保証付き分散マルチエージェント制御のための新しいMARLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-20T06:11:42Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳（メタデータ） (2020-03-19T13:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。