論文の概要: Bayesian Meta-reinforcement Learning for Traffic Signal Control

• arxiv url: http://arxiv.org/abs/2010.00163v2
• Date: Fri, 22 Oct 2021 23:56:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 07:27:54.428150
• Title: Bayesian Meta-reinforcement Learning for Traffic Signal Control
• Title（参考訳）: 交通信号制御のためのベイズメタ強化学習
• Authors: Yayi Zou, Zhiwei Qin
• Abstract要約: 本稿では,新しいシナリオにおける学習プロセスを強力に高速化する,価値に基づく新しいメタ強化学習フレームワークBM-DQNを提案する。 制限された2次元ナビゲーションと交通信号制御の実験により,提案手法は従来手法よりも高速かつ堅牢に新しいシナリオに適応することが示された。
• 参考スコア（独自算出の注目度）: 5.025654873456756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, there has been increasing amount of interest around meta reinforcement learning methods for traffic signal control, which have achieved better performance compared with traditional control methods. However, previous methods lack robustness in adaptation and stability in training process in complex situations, which largely limits its application in real-world traffic signal control. In this paper, we propose a novel value-based Bayesian meta-reinforcement learning framework BM-DQN to robustly speed up the learning process in new scenarios by utilizing well-trained prior knowledge learned from existing scenarios. This framework is based on our proposed fast-adaptation variation to Gradient-EM Bayesian Meta-learning and the fast-update advantage of DQN, which allows for fast adaptation to new scenarios with continual learning ability and robustness to uncertainty. The experiments on restricted 2D navigation and traffic signal control show that our proposed framework adapts more quickly and robustly in new scenarios than previous methods, and specifically, much better continual learning ability in heterogeneous scenarios.
• Abstract（参考訳）: 近年,交通信号制御におけるメタ強化学習手法への関心が高まっており,従来の制御方式と比較して性能が向上している。 しかし,従来の手法では,複雑な状況下での訓練プロセスの適応性や安定性が欠如しており,実際の交通信号制御における適用がほとんど制限されている。 本稿では,既存のシナリオから学習した事前知識を活用し,新しいシナリオにおける学習プロセスを堅牢に高速化する,価値ベースのベイズメタ強化学習フレームワークbm-dqnを提案する。 このフレームワークは、Gradient-EM BayesianメタラーニングとDQNの高速適応性に基づくもので、継続学習能力と不確実性に対する堅牢性を備えた新しいシナリオへの高速適応を可能にする。 制限付き2次元ナビゲーションと交通信号制御の実験により,提案手法は従来手法よりも高速かつ堅牢に新しいシナリオに適応し,特に異種シナリオにおける連続学習能力は向上した。

関連論文リスト

• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Transferable Deep Reinforcement Learning Framework for Autonomous Vehicles with Joint Radar-Data Communications [69.24726496448713]
  本稿では,AVの最適決定を支援するために,マルコフ決定プロセス(MDP)に基づくインテリジェントな最適化フレームワークを提案する。 そこで我々は,近年の深層強化学習技術を活用した効果的な学習アルゴリズムを開発し,AVの最適方針を見出す。 提案手法は,従来の深部強化学習手法と比較して,AVによる障害物ミス検出確率を最大67%削減することを示す。
  論文  参考訳（メタデータ） (2021-05-28T08:45:37Z)
• Learning and Fast Adaptation for Grid Emergency Control via Deep Meta Reinforcement Learning [22.58070790887177]
  電力システムは、より不確実性、より少ない慣性、および操作限界に近い重要な変換を受けています。 システムの信頼性とセキュリティを維持するために、グリッド緊急制御を強化する必要がある。 近年、深層補強学習(DRL)ベースのグリッド制御ソリューションの開発に大きな進歩を遂げています。 既存のDRLベースのソリューションには2つの大きな制限がある: 1) グリッドの動作条件、システムパラメータ、コンテンシーにうまく対応できない; 2) 新しいグリッドの動作条件、システムパラメータ、およびコンテンシーに迅速に適応する能力が欠如し、現実のアプリケーションへの適用性が制限されている。
  論文  参考訳（メタデータ） (2021-01-13T19:45:59Z)
• MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
  交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。 近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。 本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
  論文  参考訳（メタデータ） (2021-01-04T03:06:08Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Meta Reinforcement Learning-Based Lane Change Strategy for Autonomous Vehicles [11.180588185127892]
  教師付き学習アルゴリズムは、大量のラベル付きデータをトレーニングすることで、新しい環境に一般化することができる。 しばしば、新しい環境ごとに十分なデータを得るために、実用的または費用を抑えることができる。 エージェントの一般化能力を向上させるメタ強化学習(MRL)法を提案する。
  論文  参考訳（メタデータ） (2020-08-28T02:57:11Z)
• Adaptive Traffic Control with Deep Reinforcement Learning: Towards State-of-the-art and Beyond [1.3999481573773072]
  強化学習(RL)を用いた適応型データ誘導交通計画と制御について検討する。 高速で信頼性の高い交通意思決定ツールとして,交通制御のための新しいDQNアルゴリズム(TC-DQN+)を提案する。
  論文  参考訳（メタデータ） (2020-07-21T17:26:20Z)
• Responsive Safety in Reinforcement Learning by PID Lagrangian Methods [74.49173841304474]
  ラグランジアン法は振動とオーバーシュートを示し、安全強化学習に適用すると制約違反行動を引き起こす。 制約関数の微分を利用する新しいラグランジュ乗算器更新法を提案する。 我々はPIDラグランジアン法を深部RLに適用し、安全RLベンチマークであるSafety Gymにおける新しい技術状態を設定する。
  論文  参考訳（メタデータ） (2020-07-08T08:43:14Z)
• Efficiency and Equity are Both Essential: A Generalized Traffic Signal Controller with Deep Reinforcement Learning [25.21831641893209]
  本稿では,信号制御系に対して,最適化されたトラフィックフローを目的とした深層強化学習を用いた学習ポリシーを提案する。 提案手法は,効率と公平性を同時に考慮した報酬関数の新規な定式化を用いている。 シミュレーションおよび実世界のデータを用いた実験により,提案アルゴリズムが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-03-09T11:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。