論文の概要: OffLight: An Offline Multi-Agent Reinforcement Learning Framework for Traffic Signal Control

• arxiv url: http://arxiv.org/abs/2411.06601v2
• Date: Mon, 25 Nov 2024 15:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:16:19.367667
• Title: OffLight: An Offline Multi-Agent Reinforcement Learning Framework for Traffic Signal Control
• Title（参考訳）: OffLight: 信号制御のためのオフラインマルチエージェント強化学習フレームワーク
• Authors: Rohit Bokade, Xiaoning Jin,
• Abstract要約: 我々は、TSCデータセットにおける異種行動ポリシーを処理するために設計された新しいオフラインMARLフレームワークであるOffLightを紹介する。 OffLightは、分散シフトの修正にImportance Smpling(IS)、高品質なエクスペリエンスにフォーカスするためにReturn-Based Prioritized Smpling(RBPS)を組み込んでいる。 OffLightは既存のオフラインRL手法よりも優れており、平均走行時間の7.8%、待ち時間の長さの11.2%にまで短縮されている。
• 参考スコア（独自算出の注目度）: 1.2540429019617183
• License:
• Abstract: Efficient traffic control (TSC) is essential for urban mobility, but traditional systems struggle to handle the complexity of real-world traffic. Multi-agent Reinforcement Learning (MARL) offers adaptive solutions, but online MARL requires extensive interactions with the environment, making it costly and impractical. Offline MARL mitigates these challenges by using historical traffic data for training but faces significant difficulties with heterogeneous behavior policies in real-world datasets, where mixed-quality data complicates learning. We introduce OffLight, a novel offline MARL framework designed to handle heterogeneous behavior policies in TSC datasets. To improve learning efficiency, OffLight incorporates Importance Sampling (IS) to correct for distributional shifts and Return-Based Prioritized Sampling (RBPS) to focus on high-quality experiences. OffLight utilizes a Gaussian Mixture Variational Graph Autoencoder (GMM-VGAE) to capture the diverse distribution of behavior policies from local observations. Extensive experiments across real-world urban traffic scenarios show that OffLight outperforms existing offline RL methods, achieving up to a 7.8% reduction in average travel time and 11.2% decrease in queue length. Ablation studies confirm the effectiveness of OffLight's components in handling heterogeneous data and improving policy performance. These results highlight OffLight's scalability and potential to improve urban traffic management without the risks of online learning.
• Abstract（参考訳）: 都市移動には効率的な交通制御(TSC)が不可欠であるが、従来のシステムは現実の交通の複雑さを扱うのに苦労している。 MARL(Multi-Adnt Reinforcement Learning)は適応型ソリューションを提供するが、オンラインMARLは環境との広範囲な相互作用を必要とするため、費用がかかり実用的ではない。 オフラインのMARLは、トレーニングに過去のトラフィックデータを使用することでこれらの課題を緩和するが、混在するデータが学習を複雑にする現実世界のデータセットにおける異種行動ポリシーにおいて、重大な困難に直面している。 我々は、TSCデータセットにおける異種行動ポリシーを処理するために設計された新しいオフラインMARLフレームワークであるOffLightを紹介する。 学習効率を向上させるために、OffLightはImportance Smpling(IS)を、分散シフトの修正に使用し、RBPS(Return-Based Prioritized Smpling)を、高品質なエクスペリエンスに重点を置いている。 OffLightはGaussian Mixture Variational Graph Autoencoder(GMM-VGAE)を使用して、局所的な観測から行動ポリシーの多様な分布をキャプチャする。 現実世界の都市交通シナリオにおける大規模な実験により、OffLightは既存のオフラインRL手法よりも優れており、平均走行時間7.8%、待ち行列長11.2%の削減を実現している。 アブレーション研究は、不均一なデータ処理とポリシー性能改善におけるOffLightのコンポーネントの有効性を確認している。 これらの結果は、オンライン学習のリスクを伴わずに、OffLightのスケーラビリティと都市交通管理を改善する可能性を強調している。

関連論文リスト

• Strada-LLM: Graph LLM for traffic prediction [62.2015839597764]
  交通予測における大きな課題は、非常に異なる交通条件によって引き起こされる多様なデータ分散を扱うことである。 近位交通情報を考慮した交通予測のためのグラフ対応LLMを提案する。 我々は、新しいデータ分散に直面する際に、ドメイン適応を効率的にするための軽量なアプローチを採用する。
  論文  参考訳（メタデータ） (2024-10-28T09:19:29Z)
• D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
  ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。 提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
  論文  参考訳（メタデータ） (2024-08-15T22:27:00Z)
• LLM-Assisted Light: Leveraging Large Language Model Capabilities for Human-Mimetic Traffic Signal Control in Complex Urban Environments [3.7788636451616697]
  本研究は,大規模言語モデルを交通信号制御システムに統合する革新的なアプローチを導入する。 LLMを知覚と意思決定ツールのスイートで強化するハイブリッドフレームワークが提案されている。 シミュレーションの結果から,交通環境の多種性に適応するシステムの有効性が示された。
  論文  参考訳（メタデータ） (2024-03-13T08:41:55Z)
• Traffic Signal Control Using Lightweight Transformers: An Offline-to-Online RL Approach [6.907105812732423]
  我々は,オフラインで容易にアクセス可能なデータセットからポリシーを学習可能な,軽量な決定変換方式DTLightを提案する。 オフラインデータセット上で純粋に事前トレーニングされたDTLightは、ほとんどのシナリオで最先端のオンラインRLベースのメソッドより優れている。 実験の結果、オンラインの微調整により、最高のオンラインRLベースラインメソッドよりもDTLightのパフォーマンスが42.6%向上することが示された。
  論文  参考訳（メタデータ） (2023-12-12T23:21:57Z)
• A Fully Data-Driven Approach for Realistic Traffic Signal Control Using Offline Reinforcement Learning [18.2541182874636]
  現実的な交通信号制御のための完全データ駆動・シミュレータフリーフレームワークを提案する。 我々は、確立されたトラフィックフロー理論と機械学習を組み合わせることで、粗いトラフィックデータから報酬信号を推測する。 従来のRLベースラインやオフラインのRLベースラインよりも優れた性能を実現し,実世界の適用性も向上した。
  論文  参考訳（メタデータ） (2023-11-27T15:29:21Z)
• Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with Online Learning [60.17407932691429]
  基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。 本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。 提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2023-09-04T17:30:21Z)
• DataLight: Offline Data-Driven Traffic Signal Control [9.393196900855648]
  Reinforcement Learning (RL) は、交通信号制御(TSC)の課題に対処するための有望なソリューションとして登場した。 この研究は、DataLightと呼ばれる革新的なオフラインデータ駆動アプローチを導入している。 DataLightは、車両の速度情報をキャプチャすることで、効果的な状態表現と報酬関数を利用する。
  論文  参考訳（メタデータ） (2023-03-20T02:02:50Z)
• Offline Reinforcement Learning for Road Traffic Control [12.251816544079306]
  モデルベースの学習フレームワークであるA-DACを構築し、データ不確実性に対処するために、悲観的なコストを組み込んだデータセットからマルコフ決定プロセス(MDP)を推論する。 A-DACは、サイズやバッチ収集ポリシーによって異なる複数のデータセットを用いて、複雑な信号化ラウンドアバウトで評価される。
  論文  参考訳（メタデータ） (2022-01-07T09:55:21Z)
• An Experimental Urban Case Study with Various Data Sources and a Model for Traffic Estimation [65.28133251370055]
  我々はスイスのチューリッヒの都市ネットワーク内の地域でビデオ計測による実験キャンペーンを組織した。 我々は,既存のサーマルカメラからの測定を確実にすることで,交通の流れや走行時間の観点からの交通状況の把握に注力する。 本稿では,様々なデータソースの融合による移動時間を推定するために,単純かつ効率的な多重線形回帰(MLR)モデルを提案する。
  論文  参考訳（メタデータ） (2021-08-02T08:13:57Z)
• Offline Meta-Reinforcement Learning with Online Self-Supervision [66.42016534065276]
  適応ポリシをメタトレーニングするための報酬付きオフラインデータを用いたハイブリッドオフラインメタRLアルゴリズムを提案する。 提案手法では,オフラインデータを用いて報酬関数の分布を学習し,さらにオンラインデータに対する自己監督型報酬ラベルにサンプリングする。 追加データと自己生成報酬を用いることで、エージェントの一般化能力が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-08T17:01:32Z)
• MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
  交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。 近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。 本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
  論文  参考訳（メタデータ） (2021-01-04T03:06:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。