論文の概要: Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control

• arxiv url: http://arxiv.org/abs/2504.05553v1
• Date: Mon, 07 Apr 2025 23:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:29:14.403436
• Title: Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control
• Title（参考訳）: 適応的信号制御のための階層型強化学習
• Authors: Yongjie Fu, Lingyun Zhong, Zifan Li, Xuan Di,
• Abstract要約: マルチエージェント強化学習(MARL)は、適応的な交通信号制御(ATSC)を約束している。 MARLは広範なデータ共有と通信要求のために制約に直面している。 我々はATSCのための階層型統合強化学習(HFRL)を提案する。
• 参考スコア（独自算出の注目度）: 5.570882985800125
• License:
• Abstract: Multi-agent reinforcement learning (MARL) has shown promise for adaptive traffic signal control (ATSC), enabling multiple intersections to coordinate signal timings in real time. However, in large-scale settings, MARL faces constraints due to extensive data sharing and communication requirements. Federated learning (FL) mitigates these challenges by training shared models without directly exchanging raw data, yet traditional FL methods such as FedAvg struggle with highly heterogeneous intersections. Different intersections exhibit varying traffic patterns, demands, and road structures, so performing FedAvg across all agents is inefficient. To address this gap, we propose Hierarchical Federated Reinforcement Learning (HFRL) for ATSC. HFRL employs clustering-based or optimization-based techniques to dynamically group intersections and perform FedAvg independently within groups of intersections with similar characteristics, enabling more effective coordination and scalability than standard FedAvg. Our experiments on synthetic and real-world traffic networks demonstrate that HFRL not only outperforms both decentralized and standard federated RL approaches but also identifies suitable grouping patterns based on network structure or traffic demand, resulting in a more robust framework for distributed, heterogeneous systems.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)は、適応的な交通信号制御(ATSC)の実現を約束しており、複数の交差点がリアルタイムに信号タイミングを調整することができる。 しかし、大規模な設定では、MARLは広範なデータ共有と通信要求のために制約に直面している。 フェデレートラーニング(FL)は、生データを直接交換することなく、共有モデルをトレーニングすることでこれらの課題を緩和するが、FedAvgのような従来のFLメソッドは、非常に異種な交差点と戦っている。 異なる交差点は様々な交通パターン、要求、道路構造を示すため、すべてのエージェントでFedAvgを実行するのは非効率である。 このギャップに対処するため,ATSC のための階層型強化学習 (HFRL) を提案する。 HFRLはクラスタリングに基づくもしくは最適化に基づく手法を用いて、共通点を動的にグループ化し、同様の特性を持つ共通点のグループ内で独立してFedAvgを実行する。 合成および実世界の交通ネットワークに関する実験により,HFRLは分散化と標準化の両方のRLアプローチに優れるだけでなく,ネットワーク構造やトラフィックの要求に基づいて適切なグループ化パターンを同定し,分散・異種システムのためのより堅牢なフレームワークとなることを示した。

関連論文リスト

• Heterogeneous Multi-Agent Reinforcement Learning for Distributed Channel Access in WLANs [47.600901884970845]
  本稿では,マルチエージェント強化学習(MARL)を用いて,無線ローカルネットワークにおける分散チャネルアクセスに対処する。 特に、エージェントがモデルトレーニングに価値ベースまたはポリシーベースの強化学習アルゴリズムを不均一に採用する、より実践的なケースについて考察する。 我々は、分散実行パラダイムを用いた集中型トレーニングを採用し、異種エージェントの協調を可能にする、異種MARLトレーニングフレームワークQPMIXを提案する。
  論文  参考訳（メタデータ） (2024-12-18T13:50:31Z)
• Improving Traffic Flow Predictions with SGCN-LSTM: A Hybrid Model for Spatial and Temporal Dependencies [55.2480439325792]
  本稿ではSGCN-LSTM(Signal-Enhanced Graph Convolutional Network Long Short Term Memory)モデルを提案する。 PEMS-BAYロードネットワークトラフィックデータセットの実験は、SGCN-LSTMモデルの有効性を示す。
  論文  参考訳（メタデータ） (2024-11-01T00:37:00Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Adaptive Hierarchical SpatioTemporal Network for Traffic Forecasting [70.66710698485745]
  本稿では,AHSTN(Adaptive Hierarchical SpatioTemporal Network)を提案する。 AHSTNは空間階層を利用し、マルチスケール空間相関をモデル化する。 2つの実世界のデータセットの実験により、AHSTNはいくつかの強いベースラインよりも優れたパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T14:50:27Z)
• Large-Scale Traffic Signal Control by a Nash Deep Q-network Approach [7.23135508361981]
  本稿では,完全集中型とMARLの両アプローチの弱点を緩和する,非政治的な深いQ-Network (OPNDQN) アルゴリズムを提案する。 OPNDQNの主な利点の1つはマルチエージェントマルコフ過程の非定常性を緩和することである。 平均キュー長,エピソードトレーニング報酬,平均待ち時間の観点から,既存のMARLアプローチよりもOPNDQNの方が優位であることを示す。
  論文  参考訳（メタデータ） (2023-01-02T12:58:51Z)
• Differentiated Federated Reinforcement Learning Based Traffic Offloading on Space-Air-Ground Integrated Networks [12.080548048901374]
  本稿では,SAGINにおけるトラヒックオフロード問題を解決するために,DFRL(differated federated reinforcement learning)を用いることを提案する。 SAGINの各領域の異なる特性を考慮すると、DFRLはトラフィックオフロードポリシー最適化プロセスをモデル化する。 本稿では,この問題を解決するために,新たな微分型フェデレート・ソフト・アクター・クリティカル (DFSAC) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-05T07:40:29Z)
• End-to-End Intersection Handling using Multi-Agent Deep Reinforcement Learning [63.56464608571663]
  交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。 本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。 本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2021-04-28T07:54:40Z)
• MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
  交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。 近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。 本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
  論文  参考訳（メタデータ） (2021-01-04T03:06:08Z)
• IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control [4.273991039651846]
  適応的な交通信号制御のスケーリングには、状態と行動空間を扱う必要がある。 本稿では,グラフ畳み込みネットワークに基づくインダクティブグラフ強化学習(IG-RL)を紹介する。 我々のモデルは、新しい道路網、交通分布、交通体制に一般化することができる。
  論文  参考訳（メタデータ） (2020-03-06T17:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。