論文の概要: Quantifying the Impact of Non-Stationarity in Reinforcement
Learning-Based Traffic Signal Control
- arxiv url: http://arxiv.org/abs/2004.04778v1
- Date: Thu, 9 Apr 2020 19:20:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 02:29:17.383855
- Title: Quantifying the Impact of Non-Stationarity in Reinforcement
Learning-Based Traffic Signal Control
- Title（参考訳）: 強化学習に基づく交通信号制御における非定常性の影響の定量化
- Authors: Lucas N. Alegre, Ana L. C. Bazzan, Bruno C. da Silva
- Abstract要約: 我々は、信号ネットワークにおいて、異なる非定常性源が持つ影響を分析する。
実況を代表的に観測するに適したセンサがないことは,基盤となる交通パターンの変化よりも性能に大きく影響していると考えられる。
- 参考スコア（独自算出の注目度）: 7.970144204429356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In reinforcement learning (RL), dealing with non-stationarity is a
challenging issue. However, some domains such as traffic optimization are
inherently non-stationary. Causes for and effects of this are manifold. In
particular, when dealing with traffic signal controls, addressing
non-stationarity is key since traffic conditions change over time and as a
function of traffic control decisions taken in other parts of a network. In
this paper we analyze the effects that different sources of non-stationarity
have in a network of traffic signals, in which each signal is modeled as a
learning agent. More precisely, we study both the effects of changing the
\textit{context} in which an agent learns (e.g., a change in flow rates
experienced by it), as well as the effects of reducing agent observability of
the true environment state. Partial observability may cause distinct states (in
which distinct actions are optimal) to be seen as the same by the traffic
signal agents. This, in turn, may lead to sub-optimal performance. We show that
the lack of suitable sensors to provide a representative observation of the
real state seems to affect the performance more drastically than the changes to
the underlying traffic patterns.
- Abstract（参考訳）: 強化学習(RL)では、非定常性を扱うことは難しい問題である。
しかしながら、トラフィック最適化のようないくつかのドメインは本質的に非定常である。
この原因と影響は多様体である。
特に、交通信号制御を扱う場合、交通条件が時間とともに変化し、ネットワークの他の部分で行われる交通制御決定の関数として非定常性に対処することが重要である。
本稿では,各信号が学習エージェントとしてモデル化される交通信号ネットワークにおいて,異なる非定常源が持つ影響を解析する。
より正確には、エージェントが学習する \textit{context} を変更する効果(例えば、それによる流量の変化)と、真の環境状態のエージェント可観測性を減らす効果の両方について研究する。
部分的可観測性は、トラフィック信号エージェントによって異なる状態(個別のアクションが最適である)を同一視する可能性がある。
これは逆に、準最適パフォーマンスにつながる可能性がある。
実況を代表的に観測するに適したセンサがないことは,基盤となる交通パターンの変化よりも性能に大きく影響していると考えられる。
関連論文リスト
- Mitigating Partial Observability in Adaptive Traffic Signal Control with Transformers [26.1987660654434]
Reinforcement Learning (RL) は、適応的な交通信号制御(ATSC)システムを強化するための有望なアプローチとして登場した。
本稿では、部分観測可能性(PO)に対処するため、TransformerベースのコントローラをATSCシステムに統合する。
その結果,トランスフォーマーをベースとしたモデルでは,過去の観測から重要な情報を捉えることができ,制御ポリシが向上し,トラフィックフローが改善された。
論文 参考訳（メタデータ） (2024-09-16T19:46:15Z) - MalLight: Influence-Aware Coordinated Traffic Signal Control for Traffic Signal Malfunctions [12.54500040020085]
本稿では,交通信号の故障による悪影響を軽減するために,新しい信号制御フレームワーク(MalLight)を提案する。
本研究は,交通信号の故障による課題に対処する強化学習(RL)に基づくアプローチの先駆者となる。
論文 参考訳（メタデータ） (2024-08-19T07:57:13Z) - A Holistic Framework Towards Vision-based Traffic Signal Control with
Microscopic Simulation [53.39174966020085]
交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。
本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。
我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
論文 参考訳（メタデータ） (2024-03-11T16:42:29Z) - DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。
運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。
我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
論文 参考訳（メタデータ） (2023-10-03T10:10:42Z) - DenseLight: Efficient Control for Large-scale Traffic Signals with Dense
Feedback [109.84667902348498]
交通信号制御(TSC)は、道路網における車両の平均走行時間を短縮することを目的としている。
従来のTSC手法は、深い強化学習を利用して制御ポリシーを探索する。
DenseLightは、不偏報酬関数を用いてポリシーの有効性をフィードバックする新しいRTLベースのTSC手法である。
論文 参考訳（メタデータ） (2023-06-13T05:58:57Z) - Reinforcement Learning Approaches for Traffic Signal Control under
Missing Data [5.896742981602458]
現実世界の都市では、センサーの欠如により交通状態の観察が欠如することがある。
本稿では, 適応制御を実現するために, トラフィック状態をインプットし, 適応制御とRLエージェントの訓練を可能にするために, 状態と報酬の両方をインプットする2つの方法を提案する。
論文 参考訳（メタデータ） (2023-04-21T03:26:33Z) - SocialLight: Distributed Cooperation Learning towards Network-Wide
Traffic Signal Control [7.387226437589183]
SocialLightは交通信号制御のための新しいマルチエージェント強化学習手法である。
地元におけるエージェントの個人的限界貢献を推定することにより、協力的な交通規制政策を学習する。
我々は,2つの交通シミュレータの標準ベンチマークにおける最先端の交通信号制御手法に対して,トレーニングネットワークをベンチマークした。
論文 参考訳（メタデータ） (2023-04-20T12:41:25Z) - Modeling Network-level Traffic Flow Transitions on Sparse Data [6.756998301171409]
本稿では,スパースデータからネットワークレベルのトラフィックフローを予測できるDTIGNNを提案する。
提案手法は最先端の手法よりも優れており,交通機関の意思決定支援に有効であることを示す。
論文 参考訳（メタデータ） (2022-08-13T13:30:35Z) - Learning energy-efficient driving behaviors by imitating experts [75.12960180185105]
本稿では,コミュニケーション・センシングにおける制御戦略と現実的限界のギャップを埋める上で,模倣学習が果たす役割について考察する。
擬似学習は、車両の5%に採用されれば、局地的な観測のみを用いて、交通条件の異なるネットワークのエネルギー効率を15%向上させる政策を導出できることを示す。
論文 参考訳（メタデータ） (2022-06-28T17:08:31Z) - Driving-Signal Aware Full-Body Avatars [49.89791440532946]
そこで本研究では,駆動信号を意識したフルボディアバターを構築するための学習ベース手法を提案する。
我々のモデルは条件付き変分オートエンコーダであり、不完全な駆動信号でアニメーションできる。
仮想テレプレゼンスのためのフルボディアニメーションの課題に対して,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-05-21T16:22:38Z) - MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。
近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。
本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
論文 参考訳（メタデータ） (2021-01-04T03:06:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。