論文の概要: Topology Enhanced MARL for Multi-Vehicle Cooperative Decision-Making of CAVs

• arxiv url: http://arxiv.org/abs/2507.12110v1
• Date: Wed, 16 Jul 2025 10:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.355248
• Title: Topology Enhanced MARL for Multi-Vehicle Cooperative Decision-Making of CAVs
• Title（参考訳）: CAVの多車両協調決定のためのトポロジー強化MARL
• Authors: Ye Han, Lijun Zhang, Dejian Meng, Zhuang Zhang,
• Abstract要約: TPE-MARLは、混在する交通シナリオにおける探索と利用のバランスをとる。 交通効率、安全性、意思決定のスムーズさ、タスク完了の点で優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 11.569616198957887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The exploration-exploitation trade-off constitutes one of the fundamental challenges in reinforcement learning (RL), which is exacerbated in multi-agent reinforcement learning (MARL) due to the exponential growth of joint state-action spaces. This paper proposes a topology-enhanced MARL (TPE-MARL) method for optimizing cooperative decision-making of connected and autonomous vehicles (CAVs) in mixed traffic. This work presents two primary contributions: First, we construct a game topology tensor for dynamic traffic flow, effectively compressing high-dimensional traffic state information and decrease the search space for MARL algorithms. Second, building upon the designed game topology tensor and using QMIX as the backbone RL algorithm, we establish a topology-enhanced MARL framework incorporating visit counts and agent mutual information. Extensive simulations across varying traffic densities and CAV penetration rates demonstrate the effectiveness of TPE-MARL. Evaluations encompassing training dynamics, exploration patterns, macroscopic traffic performance metrics, and microscopic vehicle behaviors reveal that TPE-MARL successfully balances exploration and exploitation. Consequently, it exhibits superior performance in terms of traffic efficiency, safety, decision smoothness, and task completion. Furthermore, the algorithm demonstrates decision-making rationality comparable to or exceeding that of human drivers in both mixed-autonomy and fully autonomous traffic scenarios. Code of our work is available at \href{https://github.com/leoPub/tpemarl}{https://github.com/leoPub/tpemarl}.
• Abstract（参考訳）: 多エージェント強化学習(MARL)における強化学習(RL)の基本的な課題の1つとして,共同状態空間の指数的成長があげられる。 本稿では,複合交通におけるコネクテッド・自動運転車(CAV)の協調的意思決定を最適化するためのトポロジ強化型MARL(TPE-MARL)手法を提案する。 まず、動的トラフィックフローのためのゲームトポロジテンソルを構築し、高次元のトラフィック状態情報を効果的に圧縮し、MARLアルゴリズムの探索空間を縮小する。 第2に、デザインされたゲームトポロジテンソルに基づいてQMIXをバックボーンRLアルゴリズムとして使用し、訪問数とエージェント相互情報を組み合わせたトポロジ強化MARLフレームワークを確立する。 TPE-MARLの有効性を示すため,様々な交通密度とCAV浸透率の広範囲なシミュレーションを行った。 トレーニングのダイナミクス、探索パターン、マクロな交通性能指標、微視的な車両の挙動などの評価は、TPE-MARLが探索と搾取のバランスをとることに成功していることを示している。 その結果, 交通効率, 安全性, 意思決定の円滑性, タスク完了性において, 優れた性能を示した。 さらに、このアルゴリズムは、混合自律性と完全自律交通シナリオの両方において、人間のドライバーと同等かそれ以上の意思決定合理性を示す。 私たちの作業のコードは、 \href{https://github.com/leoPub/tpemarl}{https://github.com/leoPub/tpemarl} で公開されています。

関連論文リスト

• Topology-Assisted Spatio-Temporal Pattern Disentangling for Scalable MARL in Large-scale Autonomous Traffic Control [14.929720580977152]
  本稿では,動的グラフニューラルネットワーク(DGNN)とトポロジカルデータ解析(TDA)を統合した新しいMARLフレームワークを提案する。 大規模言語モデル (LLMs) におけるMixture of Experts (MoE) アーキテクチャに着想を得て, 位相支援型空間パターンアンタングリング (TSD) 強化型MoEを提案する。 実世界の交通シナリオにおいて行われた大規模な実験は、包括的な理論的分析とともに、提案フレームワークの優れた性能を検証した。
  論文  参考訳（メタデータ） (2025-06-14T11:18:12Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Learning Multi-Robot Coordination through Locality-Based Factorized Multi-Agent Actor-Critic Algorithm [54.98788921815576]
  我々は,textbfLocalityをベースとしたtextbfFactorized textbfMulti-Agent textbfActor-textbfCritic (Loc-FACMAC) という新しい協調型マルチエージェント強化学習法を提案する。 我々は、局所性の概念を批判的学習に統合し、トレーニング中に強く関連するロボットが分割を形成する。 提案手法は,局所的な報酬に着目し,分割型学習を活用して既存のアルゴリズムを改良し,学習効率と性能を向上させる。
  論文  参考訳（メタデータ） (2025-03-24T16:00:16Z)
• CoLLMLight: Cooperative Large Language Model Agents for Network-Wide Traffic Signal Control [7.0964925117958515]
  交通信号制御(TSC)は,交通流の最適化と混雑緩和によって都市交通管理において重要な役割を担っている。 既存のアプローチでは、エージェント間の調整に必要な問題に対処できない。 TSCのための協調LLMエージェントフレームワークであるCoLLMLightを提案する。
  論文  参考訳（メタデータ） (2025-03-14T15:40:39Z)
• Heterogeneous Multi-Agent Reinforcement Learning for Distributed Channel Access in WLANs [47.600901884970845]
  本稿では,マルチエージェント強化学習(MARL)を用いて,無線ローカルネットワークにおける分散チャネルアクセスに対処する。 特に、エージェントがモデルトレーニングに価値ベースまたはポリシーベースの強化学習アルゴリズムを不均一に採用する、より実践的なケースについて考察する。 我々は、分散実行パラダイムを用いた集中型トレーニングを採用し、異種エージェントの協調を可能にする、異種MARLトレーニングフレームワークQPMIXを提案する。
  論文  参考訳（メタデータ） (2024-12-18T13:50:31Z)
• CoMAL: Collaborative Multi-Agent Large Language Models for Mixed-Autonomy Traffic [11.682456863110767]
  CoMALは、交通の流れを最適化するために、自動運転車間のコラボレーションによって、混在する自律交通問題に対処するために設計されたフレームワークである。 CoMALは大きな言語モデル上に構築されており、対話的な交通シミュレーション環境で動作する。
  論文  参考訳（メタデータ） (2024-10-18T10:53:44Z)
• Think Twice Before Recognizing: Large Multimodal Models for General Fine-grained Traffic Sign Recognition [49.20086587208214]
  我々は、微粒な交通標識認識(TSR)を改善するために認識する前に、思考と呼ばれる新しい戦略を提案する。 我々の戦略は、大型マルチモーダルモデル(LMM)の多重思考能力を刺激することで、有効な微粒化TSRを実現する。
  論文  参考訳（メタデータ） (2024-09-03T02:08:47Z)
• Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph Reinforcement Learning [42.175067773481416]
  我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。 具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。 拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
  論文  参考訳（メタデータ） (2023-11-07T06:43:15Z)
• MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
  我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。 提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-06-03T05:32:19Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Large-Scale Traffic Signal Control by a Nash Deep Q-network Approach [7.23135508361981]
  本稿では,完全集中型とMARLの両アプローチの弱点を緩和する,非政治的な深いQ-Network (OPNDQN) アルゴリズムを提案する。 OPNDQNの主な利点の1つはマルチエージェントマルコフ過程の非定常性を緩和することである。 平均キュー長,エピソードトレーニング報酬,平均待ち時間の観点から,既存のMARLアプローチよりもOPNDQNの方が優位であることを示す。
  論文  参考訳（メタデータ） (2023-01-02T12:58:51Z)
• A Driving Behavior Recognition Model with Bi-LSTM and Multi-Scale CNN [59.57221522897815]
  運転行動認識のための軌道情報に基づくニューラルネットワークモデルを提案する。 提案手法を公開BLVDデータセット上で評価し,満足な性能を実現する。
  論文  参考訳（メタデータ） (2021-03-01T06:47:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。