論文の概要: Scalable and Reliable Multi-agent Reinforcement Learning for Traffic Assignment
- arxiv url: http://arxiv.org/abs/2506.17029v1
- Date: Fri, 20 Jun 2025 14:25:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-23 19:00:05.48568
- Title: Scalable and Reliable Multi-agent Reinforcement Learning for Traffic Assignment
- Title（参考訳）: トラヒックアサインメントのためのスケーラブルで信頼性の高いマルチエージェント強化学習
- Authors: Leizhen Wang, Peibo Duan, Cheng Lyu, Zewen Wang, Zhiqiang He, Nan Zheng, Zhenliang Ma,
- Abstract要約: 本稿では,交通代入問題に対する新しいMARLフレームワークであるMARL-OD-DAを紹介する。
実験により,提案したMARLフレームワークは,都市レベルのOD需要が多岐にわたる中規模ネットワークを効果的に処理できることを示した。
SiouxFallsネットワークに実装されると、MARL-OD-DAは従来の方法よりも94.99%低い相対的なギャップを持つ10ステップでより良い代入ソリューションを達成する。
- 参考スコア（独自算出の注目度）: 11.758301752971505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The evolution of metropolitan cities and the increase in travel demands impose stringent requirements on traffic assignment methods. Multi-agent reinforcement learning (MARL) approaches outperform traditional methods in modeling adaptive routing behavior without requiring explicit system dynamics, which is beneficial for real-world deployment. However, MARL frameworks face challenges in scalability and reliability when managing extensive networks with substantial travel demand, which limiting their practical applicability in solving large-scale traffic assignment problems. To address these challenges, this study introduces MARL-OD-DA, a new MARL framework for the traffic assignment problem, which redefines agents as origin-destination (OD) pair routers rather than individual travelers, significantly enhancing scalability. Additionally, a Dirichlet-based action space with action pruning and a reward function based on the local relative gap are designed to enhance solution reliability and improve convergence efficiency. Experiments demonstrate that the proposed MARL framework effectively handles medium-sized networks with extensive and varied city-level OD demand, surpassing existing MARL methods. When implemented in the SiouxFalls network, MARL-OD-DA achieves better assignment solutions in 10 steps, with a relative gap that is 94.99% lower than that of conventional methods.
- Abstract（参考訳）: 都市の発展と交通需要の増加は、交通の割り当て方法に厳しい要件を課している。
マルチエージェント強化学習(MARL)は、適応的なルーティング動作を明示的なシステムダイナミクスを必要とせずにモデル化する従来の手法よりも優れている。
しかし、MARLフレームワークは、大規模なトラフィック割り当て問題を解決するための実用性を制限するために、相当な旅行需要を持つ広範囲なネットワークを管理する際に、スケーラビリティと信頼性の課題に直面している。
これらの課題に対処するために、MARL-OD-DAという交通割当問題のための新しいMARLフレームワークを導入し、エージェントを個々の旅行者ではなくODペアルータとして再定義し、スケーラビリティを大幅に向上させた。
さらに、ディリクレをベースとした行動空間において、局所相対ギャップに基づく報酬関数とアクションプルーニングは、解の信頼性を高め、収束効率を向上させるように設計されている。
実験により,提案したMARLフレームワークは,既存のMARL手法を超越して,都市レベルのOD需要の広い中規模ネットワークを効果的に処理することを示した。
SiouxFallsネットワークに実装されると、MARL-OD-DAは従来の方法よりも94.99%低い相対的なギャップを持つ10ステップでより良い代入ソリューションを達成する。
関連論文リスト
- Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - AMM: Adaptive Modularized Reinforcement Model for Multi-city Traffic Signal Control [9.885854146962624]
交通信号制御(TSC)は重要かつ広く研究されている方向である。
実世界の交通環境における実験の膨大なコストのため, 実世界への強化学習(RL)手法の適用は困難である。
1つの可能な解決策は、トレーニングされたモデルをターゲット環境に適応させるTSCドメイン適応である。
論文 参考訳（メタデータ） (2025-01-05T13:59:08Z) - Multi-Agent Path Finding in Continuous Spaces with Projected Diffusion Models [57.45019514036948]
MAPF(Multi-Agent Path Finding)は、ロボット工学における基本的な問題である。
連続空間におけるMAPFの拡散モデルと制約付き最適化を統合する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-12-23T21:27:19Z) - Heterogeneous Multi-Agent Reinforcement Learning for Distributed Channel Access in WLANs [47.600901884970845]
本稿では,マルチエージェント強化学習(MARL)を用いて,無線ローカルネットワークにおける分散チャネルアクセスに対処する。
特に、エージェントがモデルトレーニングに価値ベースまたはポリシーベースの強化学習アルゴリズムを不均一に採用する、より実践的なケースについて考察する。
我々は、分散実行パラダイムを用いた集中型トレーニングを採用し、異種エージェントの協調を可能にする、異種MARLトレーニングフレームワークQPMIXを提案する。
論文 参考訳（メタデータ） (2024-12-18T13:50:31Z) - OffLight: An Offline Multi-Agent Reinforcement Learning Framework for Traffic Signal Control [1.2540429019617183]
我々は、TSCデータセットにおける異種行動ポリシーを処理するために設計された新しいオフラインMARLフレームワークであるOffLightを紹介する。
OffLightは、分散シフトの修正にImportance Smpling(IS)、高品質なエクスペリエンスにフォーカスするためにReturn-Based Prioritized Smpling(RBPS)を組み込んでいる。
OffLightは既存のオフラインRL手法よりも優れており、平均走行時間の7.8%、待ち時間の長さの11.2%にまで短縮されている。
論文 参考訳（メタデータ） (2024-11-10T21:26:17Z) - Large-Scale Traffic Signal Control by a Nash Deep Q-network Approach [7.23135508361981]
本稿では,完全集中型とMARLの両アプローチの弱点を緩和する,非政治的な深いQ-Network (OPNDQN) アルゴリズムを提案する。
OPNDQNの主な利点の1つはマルチエージェントマルコフ過程の非定常性を緩和することである。
平均キュー長,エピソードトレーニング報酬,平均待ち時間の観点から,既存のMARLアプローチよりもOPNDQNの方が優位であることを示す。
論文 参考訳（メタデータ） (2023-01-02T12:58:51Z) - AI-aided Traffic Control Scheme for M2M Communications in the Internet
of Vehicles [61.21359293642559]
交通のダイナミクスと異なるIoVアプリケーションの異種要求は、既存のほとんどの研究では考慮されていない。
本稿では,ハイブリッド交通制御方式とPPO法を併用して検討する。
論文 参考訳（メタデータ） (2022-03-05T10:54:05Z) - Multi-Agent Reinforcement Learning for Network Load Balancing in Data
Center [4.141301293112916]
本稿では,強化学習における実世界の課題であるネットワーク負荷分散問題を提案する。
協調的ネットワーク負荷分散タスクはDec-POMDP問題として定式化され、MARL法を自然に誘導する。
学習に基づく手法を適用するための現実的ギャップを埋めるために、エミュレーションシステム上で、すべての手法を直接訓練し評価する。
論文 参考訳（メタデータ） (2022-01-27T18:47:59Z) - Road Network Guided Fine-Grained Urban Traffic Flow Inference [108.64631590347352]
粗いトラフィックからのきめ細かなトラフィックフローの正確な推測は、新たな重要な問題である。
本稿では,道路ネットワークの知識を活かした新しい道路対応交通流磁化器(RATFM)を提案する。
提案手法は,高品質なトラフィックフローマップを作成できる。
論文 参考訳（メタデータ） (2021-09-29T07:51:49Z) - A Modular and Transferable Reinforcement Learning Framework for the
Fleet Rebalancing Problem [2.299872239734834]
モデルフリー強化学習(RL)に基づく艦隊再バランスのためのモジュラーフレームワークを提案する。
動作領域のグリッド上の分布としてRL状態とアクション空間を定式化し,フレームワークをスケーラブルにする。
実世界の旅行データとネットワークデータを用いた数値実験は、このアプローチがベースライン法よりもいくつかの異なる利点があることを実証している。
論文 参考訳（メタデータ） (2021-05-27T16:32:28Z) - MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。
近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。
本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
論文 参考訳（メタデータ） (2021-01-04T03:06:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。