論文の概要: Global Rewards in Multi-Agent Deep Reinforcement Learning for Autonomous Mobility on Demand Systems
- arxiv url: http://arxiv.org/abs/2312.08884v2
- Date: Sun, 19 May 2024 08:09:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 23:50:08.728131
- Title: Global Rewards in Multi-Agent Deep Reinforcement Learning for Autonomous Mobility on Demand Systems
- Title（参考訳）: 需要システムにおける自律移動のための多エージェント深層強化学習におけるグローバルリワード
- Authors: Heiko Hoppe, Tobias Enders, Quentin Cappart, Maximilian Schiffer,
- Abstract要約: 本研究では,自律移動システム(AMoD)における車両の配車について検討する。
近年のアプローチでは,マルチエージェント深部強化学習(MADRL)を用いて,スケーラブルで高性能なアルゴリズムを実現する。
AMoDシステムにおける車両配車のためのグローバルリワードに基づくMADRLアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 3.9271220134003206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study vehicle dispatching in autonomous mobility on demand (AMoD) systems, where a central operator assigns vehicles to customer requests or rejects these with the aim of maximizing its total profit. Recent approaches use multi-agent deep reinforcement learning (MADRL) to realize scalable yet performant algorithms, but train agents based on local rewards, which distorts the reward signal with respect to the system-wide profit, leading to lower performance. We therefore propose a novel global-rewards-based MADRL algorithm for vehicle dispatching in AMoD systems, which resolves so far existing goal conflicts between the trained agents and the operator by assigning rewards to agents leveraging a counterfactual baseline. Our algorithm shows statistically significant improvements across various settings on real-world data compared to state-of-the-art MADRL algorithms with local rewards. We further provide a structural analysis which shows that the utilization of global rewards can improve implicit vehicle balancing and demand forecasting abilities. Our code is available at https://github.com/tumBAIS/GR-MADRL-AMoD.
- Abstract（参考訳）: 本研究では,AMoD(Autonomous Mobility on Demand, AMoD)システムにおいて,中央オペレーターが顧客の要求に車両を割り当てたり,その総利益を最大化するためにこれを拒否するシステムについて検討する。
近年,マルチエージェント深部強化学習 (MADRL) を用いて,スケーラブルで高性能なアルゴリズムを実現する手法が提案されている。
そこで本研究では,AMoDシステムにおける車両配車のためのグローバルリワード型MADRLアルゴリズムを提案する。
提案アルゴリズムは,局所的な報酬を伴う最先端のMADRLアルゴリズムと比較して,実世界の様々な設定における統計的に有意な改善を示す。
さらに,グローバルな報酬の活用により,暗黙の車両バランスや需要予測能力の向上が期待できる構造解析を行った。
私たちのコードはhttps://github.com/tumBAIS/GR-MADRL-AMoD.comで公開されています。
関連論文リスト
- MetaTrading: An Immersion-Aware Model Trading Framework for Vehicular Metaverse Services [94.61039892220037]
本稿では,車載メタバースにおける拡張現実(AR)サービスの学習モデルを支援するために,メタバースユーザ(MU)にインセンティブを与える新しい没入型モデルトレーディングフレームワークを提案する。
動的ネットワーク条件とプライバシの懸念を考慮して、マルチエージェントマルコフ決定プロセスとしてMSPの報酬決定を定式化する。
実験により,提案フレームワークは,実AR関連車両データセット上でのARサービスにおいて,オブジェクト検出と分類のための高価値モデルを効果的に提供できることが示されている。
論文 参考訳（メタデータ） (2024-10-25T16:20:46Z) - REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。
人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。
本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
論文 参考訳（メタデータ） (2023-12-22T04:56:37Z) - Safe Model-Based Multi-Agent Mean-Field Reinforcement Learning [48.667697255912614]
平均場強化学習は、同一エージェントの無限集団と相互作用する代表エージェントのポリシーに対処する。
モデルベースの平均場強化学習アルゴリズムであるSafe-M$3$-UCRLを提案する。
本アルゴリズムは,低需要領域におけるサービスアクセシビリティを確保しつつ,重要な領域における需要を効果的に満たす。
論文 参考訳（メタデータ） (2023-06-29T15:57:07Z) - Multi-Agent Reinforcement Learning for Long-Term Network Resource
Allocation through Auction: a V2X Application [7.326507804995567]
我々は,自律エージェント間の分散意思決定として,移動エージェントの動的グループ(自動車など)からの計算タスクのオフロードを定式化する。
我々は、競争と協力のバランスをとることで、そのようなエージェントにプライベートとシステム目標の整合を動機付けるインタラクションメカニズムを設計する。
本稿では,部分的,遅延,ノイズの多い状態情報を用いて学習する,新しいマルチエージェントオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-29T10:29:06Z) - Cooperative Reinforcement Learning on Traffic Signal Control [3.759936323189418]
交通信号の制御は、道路交差点での車両の移動を調整することで、全体の走行時間を最小化することを目的とした、現実的な課題である。
既存の信号制御システムは、過度に単純化された情報とルールベースの方法に大きく依存している。
本稿では,交通信号制御最適化のための複数の報酬項をより正確に推定するために,年齢遅延重み付き協調型多目的アーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-05-23T13:25:15Z) - Deep Reinforcement Learning Based Multi-Access Edge Computing Schedule
for Internet of Vehicle [16.619839349229437]
車両用インターネット(IoV)の最大品質(QoE)を維持した無線ネットワークサービスを実現するためのUAV支援手法を提案する。
本稿では,M-AGCDRL(Multi-Agent Graph Convolutional Deep Reinforcement Learning)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-15T17:14:58Z) - Locality Matters: A Scalable Value Decomposition Approach for
Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。
本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
論文 参考訳（メタデータ） (2021-09-22T10:08:15Z) - AoI-Aware Resource Allocation for Platoon-Based C-V2X Networks via
Multi-Agent Multi-Task Reinforcement Learning [22.890835786710316]
本稿は,小隊の無線リソース管理を意識した情報年齢(AoI)の問題について検討する。
複数の自律型プラトンは、C-V2X通信技術を利用して、協力的認識メッセージ(CAM)をフォロワーに広める。
我々は,マルチエージェント強化学習(marl)に基づく分散リソース割当フレームワークを活用し,各小隊リーダ(pl)がエージェントとして行動し,環境と相互作用して最適方針を学ぶ。
論文 参考訳（メタデータ） (2021-05-10T08:39:56Z) - Learning Connectivity for Data Distribution in Robot Teams [96.39864514115136]
グラフニューラルネットワーク(GNN)を用いたアドホックネットワークにおけるデータ分散のためのタスク非依存,分散化,低レイテンシ手法を提案する。
当社のアプローチは、グローバル状態情報に基づいたマルチエージェントアルゴリズムを各ロボットで利用可能にすることで機能させます。
我々は,情報の平均年齢を報酬関数として強化学習を通じて分散gnn通信政策を訓練し,タスク固有の報酬関数と比較してトレーニング安定性が向上することを示す。
論文 参考訳（メタデータ） (2021-03-08T21:48:55Z) - Efficient UAV Trajectory-Planning using Economic Reinforcement Learning [65.91405908268662]
UAV間でタスクを分散するための経済取引に触発された新しい強化学習アルゴリズムであるREPlannerを紹介します。
エージェントが協力し、リソースを競うことができるマルチエージェント経済ゲームとして、パス計画問題を策定します。
UAV協力によるタスク分布の計算を行うため、Swarmサイズの変化に対して非常に耐性が高い。
論文 参考訳（メタデータ） (2021-03-03T20:54:19Z) - Distributed Resource Scheduling for Large-Scale MEC Systems: A
Multi-Agent Ensemble Deep Reinforcement Learning with Imitation Acceleration [44.40722828581203]
本稿では,各MECサーバにデプロイされた各エージェントのグローバル情報と分散意思決定に依存する集中型トレーニングを含む分散インテリジェントリソーススケジューリング(DIRS)フレームワークを提案する。
まず,マルチエージェント・アンサンブルを用いた分散強化学習(DRL)アーキテクチャを導入し,各エージェントの全体的なニューラルネットワーク構造を簡素化する。
第2に,提案したDIRSフレームワークの探索能力を高めるために,新しいL'evyフライトサーチにより,最適に近い状態対が得られた。
論文 参考訳（メタデータ） (2020-05-21T20:04:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。