論文の概要: Leveraging Queue Length and Attention Mechanisms for Enhanced Traffic
Signal Control Optimization
- arxiv url: http://arxiv.org/abs/2201.00006v3
- Date: Mon, 25 Sep 2023 07:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 05:24:35.123172
- Title: Leveraging Queue Length and Attention Mechanisms for Enhanced Traffic
Signal Control Optimization
- Title(参考訳): 交通信号制御最適化のための待ち時間と注意機構の活用
- Authors: Liang Zhang, Shubin Xie, Jianming Deng
- Abstract要約: 本稿では、待ち行列長を効率的な状態表現として利用する交通信号制御(TSC)について述べる。
複数の実世界のデータセットに関する総合的な実験は、我々のアプローチの有効性を実証する。
- 参考スコア(独自算出の注目度): 3.0309252269809264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) techniques for traffic signal control (TSC) have
gained increasing popularity in recent years. However, most existing RL-based
TSC methods tend to focus primarily on the RL model structure while neglecting
the significance of proper traffic state representation. Furthermore, some
RL-based methods heavily rely on expert-designed traffic signal phase
competition. In this paper, we present a novel approach to TSC that utilizes
queue length as an efficient state representation. We propose two new methods:
(1) Max Queue-Length (M-QL), an optimization-based traditional method designed
based on the property of queue length; and (2) AttentionLight, an RL model that
employs the self-attention mechanism to capture the signal phase correlation
without requiring human knowledge of phase relationships. Comprehensive
experiments on multiple real-world datasets demonstrate the effectiveness of
our approach: (1) the M-QL method outperforms the latest RL-based methods; (2)
AttentionLight achieves a new state-of-the-art performance; and (3) our results
highlight the significance of proper state representation, which is as crucial
as neural network design in TSC methods. Our findings have important
implications for advancing the development of more effective and efficient TSC
methods. Our code is released on Github (https://github.
com/LiangZhang1996/AttentionLight).
- Abstract(参考訳): 近年,交通信号制御(TSC)のための強化学習(RL)技術が普及している。
しかしながら、既存のRLベースのTSC手法のほとんどは、適切なトラフィック状態表現の重要性を無視しながら、主にRLモデル構造にフォーカスする傾向にある。
さらに、一部のRLベースの手法は、専門家が設計した信号位相の競合に大きく依存している。
本稿では,待ち行列長を効率的な状態表現として活用する新しいTSC手法を提案する。
提案手法は,(1)最大待ち行列長(m-ql),(2)位相関係の人間知識を必要とせずに信号位相相関を捕捉する自己アテンション機構を用いたrlモデルである attentionlight である。
1) m-ql法は最新のrlベースの手法を上回り, (2) attentionlightは新しい最先端性能を達成し,(3)本研究では,tsc法におけるニューラルネットワーク設計と同じくらい重要な適切な状態表現の重要性を強調する。
本研究は,より効率的かつ効率的なTSC法の開発に重要な意味を持つ。
私たちのコードはgithubでリリースされています(https://github.com/liangzhang1996/attentionlight)。
関連論文リスト
- Prioritized Trajectory Replay: A Replay Memory for Data-driven
Reinforcement Learning [52.49786369812919]
本稿では,サンプリング視点をトラジェクトリに拡張するメモリ技術である(Prioritized) Trajectory Replay (TR/PTR)を提案する。
TRは、その後の状態情報の使用を最適化するトラジェクトリの後方サンプリングによって学習効率を向上させる。
D4RL上の既存のオフラインRLアルゴリズムとTRとPTRを統合する利点を実証する。
論文 参考訳(メタデータ) (2023-06-27T14:29:44Z) - Improving the generalizability and robustness of large-scale traffic
signal control [3.8028221877086814]
交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。
欠落したデータに対して,近年の手法が脆弱なままであることを示す。
政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
論文 参考訳(メタデータ) (2023-06-02T21:30:44Z) - Reinforcement Learning Approaches for Traffic Signal Control under
Missing Data [5.896742981602458]
現実世界の都市では、センサーの欠如により交通状態の観察が欠如することがある。
本稿では, 適応制御を実現するために, トラフィック状態をインプットし, 適応制御とRLエージェントの訓練を可能にするために, 状態と報酬の両方をインプットする2つの方法を提案する。
論文 参考訳(メタデータ) (2023-04-21T03:26:33Z) - Graph Neural Network Autoencoders for Efficient Quantum Circuit
Optimisation [69.43216268165402]
我々は、量子回路の最適化にグラフニューラルネットワーク(GNN)オートエンコーダの使い方を初めて提示する。
我々は、量子回路から有向非巡回グラフを構築し、そのグラフを符号化し、その符号化を用いてRL状態を表現する。
我々の手法は、非常に大規模なRL量子回路最適化に向けた最初の現実的な第一歩である。
論文 参考訳(メタデータ) (2023-03-06T16:51:30Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳(メタデータ) (2023-02-02T18:27:20Z) - INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
モデルベース強化学習(RL)のための修正目的を提案する。
相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。
本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
論文 参考訳(メタデータ) (2022-04-18T23:09:23Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Expression is enough: Improving traffic signal control with advanced
traffic state representation [24.917612761503996]
フレキシブルで簡便な新手法であるアドバンストマックスプレッシャー(Advanced-MP)を提案する。
我々はまた、ATSと現在のRLアプローチを組み合わせたRLベースのアルゴリズムテンプレートAdvanced-XLightを開発し、「Advanced-MPLight」と「Advanced-CoLight」の2つのRLアルゴリズムを生成する。
複数の実世界のデータセットに関する総合的な実験によると、(1)Advanced-MPは、デプロイに効率的で信頼性の高いベースラインメソッドよりも優れており、(2)Advanced-MPLightとAdvanced-CoLightは、新しい最先端を実現することができる。
論文 参考訳(メタデータ) (2021-12-19T10:28:39Z) - Efficient Pressure: Improving efficiency for signalized intersections [24.917612761503996]
交通信号制御(TSC)の問題を解決するために,強化学習(RL)が注目されている。
既存のRLベースの手法は、計算資源の面でコスト効率が良くなく、従来の手法よりも堅牢ではないため、ほとんどデプロイされない。
我々は,RTLに基づくアプローチに基づいて,トレーニングを減らし,複雑さを低減したTSCの適応制御系を構築する方法を示す。
論文 参考訳(メタデータ) (2021-12-04T13:49:58Z) - POAR: Efficient Policy Optimization via Online Abstract State
Representation Learning [6.171331561029968]
状態表現学習(SRL)は,複雑な感覚データからタスク関連特徴を低次元状態に符号化する。
我々は、SRLの解釈を改善するために、専門家のデモンストレーションを活用するために、ドメイン類似と呼ばれる新しいSRLを導入する。
我々はPOARを実証的に検証し、高次元のタスクを効率的に処理し、スクラッチから直接実生活ロボットの訓練を容易にする。
論文 参考訳(メタデータ) (2021-09-17T16:52:03Z) - RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。
画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。
スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
論文 参考訳(メタデータ) (2021-06-04T03:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。