論文の概要: Analyzing Robustness of the Deep Reinforcement Learning Algorithm in Ramp Metering Applications Considering False Data Injection Attack and Defense

• arxiv url: http://arxiv.org/abs/2301.12036v2
• Date: Sat, 12 Aug 2023 22:33:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 22:37:14.055809
• Title: Analyzing Robustness of the Deep Reinforcement Learning Algorithm in Ramp Metering Applications Considering False Data Injection Attack and Defense
• Title（参考訳）: 偽データ注入攻撃と防御を考慮したランプ計測アプリケーションにおける深部強化学習アルゴリズムのロバスト性の解析
• Authors: Diyi Liu, Lanmin Liu, Lee D Han
• Abstract要約: ランプメータリング(英語: Ramp metering)は、高速道路の本線への車両の走行を制御する行為である。 深部Q-Learningアルゴリズムは,ループ検出情報のみを入力として利用する。 モデルは、道路のジオメトリーやレイアウトに関わらず、ほぼすべてのランプ計測サイトに応用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Ramp metering is the act of controlling on-going vehicles to the highway mainlines. Decades of practices of ramp metering have proved that ramp metering can decrease total travel time, mitigate shockwaves, decrease rear-end collisions by smoothing the traffic interweaving process, etc. Besides traditional control algorithm like ALINEA, Deep Reinforcement Learning (DRL) algorithms have been introduced to build a finer control. However, two remaining challenges still hinder DRL from being implemented in the real world: (1) some assumptions of algorithms are hard to be matched in the real world; (2) the rich input states may make the model vulnerable to attacks and data noises. To investigate these issues, we propose a Deep Q-Learning algorithm using only loop detectors information as inputs in this study. Then, a set of False Data Injection attacks and random noise attack are designed to investigate the robustness of the model. The major benefit of the model is that it can be applied to almost any ramp metering sites regardless of the road geometries and layouts. Besides outcompeting the ALINEA method, the Deep Q-Learning method also shows a good robustness through training among very different demands and geometries. For example, during the testing case in I-24 near Murfreesboro, TN, the model shows its robustness as it still outperforms ALINEA algorithm under Fast Gradient Sign Method attacks. Unlike many previous studies, the model is trained and tested in completely different environments to show the capabilities of the model.
• Abstract（参考訳）: ランプメータリング(英語: Ramp metering)は、高速道路の本線への車両の走行を制御する行為である。 ランプ計測の実践は, ランプ計測が全走行時間を短縮し, 衝撃波を緩和し, 路面衝突を抑制できることを示した。 ALINEAのような従来の制御アルゴリズムに加えて、より細かい制御を構築するためにDeep Reinforcement Learning (DRL)アルゴリズムが導入されている。 しかし、DRLが現実の世界で実装されるのを妨げている課題は、(1)アルゴリズムのいくつかの仮定は現実の世界では適合し難い、(2)リッチな入力状態は、モデルを攻撃やデータノイズに弱いものにする可能性がある。 そこで本研究では,ループ検出情報のみを入力として用いた深層Q-Learningアルゴリズムを提案する。 次に,False Data Injection攻撃とランダムノイズ攻撃のセットを,モデルのロバスト性を調べるために設計する。 モデルの主な利点は、道路のジオメトリやレイアウトに関係なく、ほとんどどんなランプメーターサイトにも適用可能であることである。 ALINEA法に勝るだけでなく、Deep Q-Learning法は、非常に異なる要求とジオメトリ間のトレーニングを通じて、優れた堅牢性を示す。 例えば、TNのマーフリーズボロ近郊でのI-24のテストケースでは、このモデルが高速なグラディエントサインメソッド攻撃下でのALINEAアルゴリズムよりも優れているため、その堅牢性を示している。 従来の多くの研究とは異なり、モデルはモデルの能力を示すために全く異なる環境で訓練され、テストされる。

関連論文リスト

• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• GARL: Genetic Algorithm-Augmented Reinforcement Learning to Detect Violations in Marker-Based Autonomous Landing Systems [0.7461036096470347]
  従来のオフラインテスト手法では、人間や動物のような動的なオブジェクトによる違反事例を見逃します。 オンラインテストの方法は、限られた予算で実行できない広範囲なトレーニング時間を必要とする。 本稿では遺伝的アルゴリズム(GA)と強化学習(RL)を組み合わせたフレームワークであるGARLを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T10:54:01Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Towards a robust and reliable deep learning approach for detection of compact binary mergers in gravitational wave data [0.0]
  我々は、段階的に深層学習モデルを開発し、その堅牢性と信頼性の向上に取り組みます。 我々はGAN(Generative Adversarial Network)を含む新しいフレームワークでモデルを再訓練する。 絶対ロバスト性は事実上達成できないが、そのような訓練によって得られるいくつかの根本的な改善を実証する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:05Z)
• Improving and Benchmarking Offline Reinforcement Learning Algorithms [87.67996706673674]
  この作業は、低レベルの選択とデータセットによって引き起こされるギャップを埋めることを目的としている。 3つの代表アルゴリズムを用いて20の実装選択を実証的に検討する。 CRR+とCQL+の2つの変種がD4RL上で新たな最先端を実現している。
  論文  参考訳（メタデータ） (2023-06-01T17:58:46Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Hybrid Model and Data Driven Algorithm for Online Learning of Any-to-Any Path Loss Maps [19.963385352536616]
  デバイス・ツー・アズ・ア・パス・ロス・マップの学習は、デバイス・トゥ・ア・ア・ア・システム(D2D)通信に依存するアプリケーションにとって重要な実現手段となるかもしれない。 モデルに基づく手法は、計算量が少なくて信頼性の高い推定を生成できるという利点がある。 純粋なデータ駆動手法は、物理的なモデルを仮定することなく、優れたパフォーマンスを達成することができる。 本稿では,オンライン手法を用いてデータセットを抽出するハイブリッドモデルとデータ駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-14T13:08:25Z)
• Targeted Physical-World Attention Attack on Deep Learning Models in Road Sign Recognition [79.50450766097686]
  本稿では,現実の道路標識攻撃に対するTAA手法を提案する。 実験の結果,TAA法は攻撃成功率(約10%)を向上し,RP2法と比較して摂動損失(約4分の1)を減少させることがわかった。
  論文  参考訳（メタデータ） (2020-10-09T02:31:34Z)
• Low-Rank Robust Online Distance/Similarity Learning based on the Rescaled Hinge Loss [0.34376560669160383]
  既存のオンライン手法では、トレーニング三つ子やペアの制約が事前に存在すると仮定することが多い。 オンライン距離相似学習問題を,ロバストな再スケールヒンジ損失関数を用いて定式化する。 提案モデルは比較的汎用的で,任意のPAベースのオンラインディスタンス・シミュラリティアルゴリズムに適用可能である。
  論文  参考訳（メタデータ） (2020-10-07T08:38:34Z)
• Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination [202.2562153608092]
  本稿では,2段階の逐次回帰トラッカーを提案する。 第1段階では, 容易に同定可能な負の候補を抽出する。 第2段階では、残留するあいまいな硬質試料をダブルチェックするために、離散サンプリングに基づくリッジ回帰を設計する。
  論文  参考訳（メタデータ） (2020-06-18T07:48:01Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。