論文の概要: Self-Improving Safety Performance of Reinforcement Learning Based Driving with Black-Box Verification Algorithms

• arxiv url: http://arxiv.org/abs/2210.16575v3
• Date: Sun, 9 Jul 2023 16:42:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 19:15:18.603832
• Title: Self-Improving Safety Performance of Reinforcement Learning Based Driving with Black-Box Verification Algorithms
• Title（参考訳）: ブラックボックス検証アルゴリズムを用いた強化学習による運転の安全性向上
• Authors: Resul Dagdanov, Halil Durmus, Nazim Kemal Ure
• Abstract要約: 本稿では,強化学習(RL)に基づく自律運転(AD)エージェントの安全性向上を目的とした,自己改善型人工知能システムを提案する。 提案手法は,RLベースの適応クルーズ制御(ACC)アプリケーションにおいて,行動決定の安全性上の障害を効果的に発見する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose a self-improving artificial intelligence system to enhance the safety performance of reinforcement learning (RL)-based autonomous driving (AD) agents using black-box verification methods. RL algorithms have become popular in AD applications in recent years. However, the performance of existing RL algorithms heavily depends on the diversity of training scenarios. A lack of safety-critical scenarios during the training phase could result in poor generalization performance in real-world driving applications. We propose a novel framework in which the weaknesses of the training set are explored through black-box verification methods. After discovering AD failure scenarios, the RL agent's training is re-initiated via transfer learning to improve the performance of previously unsafe scenarios. Simulation results demonstrate that our approach efficiently discovers safety failures of action decisions in RL-based adaptive cruise control (ACC) applications and significantly reduces the number of vehicle collisions through iterative applications of our method. The source code is publicly available at https://github.com/data-and-decision-lab/self-improving-RL.
• Abstract（参考訳）: 本研究では,強化学習(RL)に基づく自律運転(AD)エージェントの安全性向上を目的とした,ブラックボックス検証手法を用いた自己改善人工知能システムを提案する。 近年,ADアプリケーションでRLアルゴリズムが普及している。 しかし、既存のRLアルゴリズムの性能はトレーニングシナリオの多様性に大きく依存している。 トレーニング段階での安全性クリティカルなシナリオの欠如は、実世界の運転アプリケーションの一般化性能を低下させる可能性がある。 本稿では,ブラックボックス検証手法を用いて,トレーニングセットの弱点を探索する新しい枠組みを提案する。 AD障害シナリオを発見した後、RLエージェントのトレーニングは転送学習を通じて再起動され、以前は安全ではなかったシナリオのパフォーマンスが向上する。 シミュレーションの結果,RLに基づく適応巡航制御(ACC)アプリケーションにおける動作決定の安全性の低下を効果的に発見し,本手法の反復的適用により車両衝突回数を大幅に削減することを示した。 ソースコードはhttps://github.com/data-and-decision-lab/self-improving-RLで公開されている。

関連論文リスト

• CIMRL: Combining IMitation and Reinforcement Learning for Safe Autonomous Driving [45.05135725542318]
  本研究では,模擬動作の事前条件と安全性制約を活用することで,シミュレーションにおける運転ポリシーのトレーニングを可能にするフレームワークを提案する。 RLと模倣を組み合わせることで,本手法は閉ループシミュレーション駆動ベンチマークにおいて最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-06-13T07:31:29Z)
• Approximate Model-Based Shielding for Safe Reinforcement Learning [83.55437924143615]
  本稿では,学習したRLポリシーの性能を検証するための,原則的ルックアヘッド遮蔽アルゴリズムを提案する。 我々のアルゴリズムは他の遮蔽手法と異なり、システムの安全性関連力学の事前知識を必要としない。 我々は,国家依存型安全ラベルを持つアタリゲームにおいて,他の安全を意識したアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-07-27T15:19:45Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• DeFIX: Detecting and Fixing Failure Scenarios with Reinforcement Learning in Imitation Learning Based Autonomous Driving [0.0]
  本稿では,ILエージェントの検出とFIX障害に対する強化学習(RL)に基づく方法論を提案する。 DeFIXは継続的学習フレームワークで、障害シナリオの抽出とRLエージェントのトレーニングを無限ループで実行する。 ILエージェントの故障シナリオを訓練したRLエージェントが1つあれば、DeFIX法は競争力があるか、最先端のILおよびRLベースの自律都市運転ベンチマークより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-10-29T10:58:43Z)
• FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [55.131858975133085]
  FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-28T19:49:39Z)
• Ablation Study of How Run Time Assurance Impacts the Training and Performance of Reinforcement Learning Agents [5.801944210870593]
  本研究では,評価ベストプラクティスを用いたアブレーション研究を行い,実行時間保証(RTA)が効果的な学習に与える影響について検討する。 私たちの結論は、安全な強化学習の最も有望な方向性に光を当てました。
  論文  参考訳（メタデータ） (2022-07-08T20:15:15Z)
• Constrained Reinforcement Learning for Robotics via Scenario-Based Programming [64.07167316957533]
  DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。 本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。 我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2022-06-20T07:19:38Z)
• SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving [12.925039760573092]
  我々はSafeRL-Kitをリリースし、自動運転タスクのための安全なRLメソッドをベンチマークする。 SafeRL-Kitには、セーフ・レイヤ、リカバリ・RL、オフ・ポリティ・ラグランジアン・メソッド、Fasible Actor-Criticなど、ゼロ制約違反タスクに特化した最新のアルゴリズムがいくつか含まれている。 我々は、SafeRL-Kitで上記のアルゴリズムの比較評価を行い、安全自動運転の有効性について光を当てた。
  論文  参考訳（メタデータ） (2022-06-17T03:23:51Z)
• Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning [63.53407136812255]
  オフライン強化学習は、探索を必要とせずに、事前に収集された静的データセットから効果的なポリシーを学ぶことを約束する。 既存のQラーニングとアクター批判に基づくオフポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(OOD)アクションや状態からのブートストラップ時に失敗する。 我々は,OOD状態-動作ペアを検出し,トレーニング目標への貢献度を下げるアルゴリズムであるUncertainty Weighted Actor-Critic (UWAC)を提案する。
  論文  参考訳（メタデータ） (2021-05-17T20:16:46Z)
• Safe Reinforcement Learning Using Robust Action Governor [6.833157102376731]
  Reinforcement Learning(RL)は、基本的に試行錯誤学習の手順であり、探索と探索プロセス中に安全でない行動を引き起こす可能性があります。 本論文では, RLアルゴリズムとアドオン安全監視モジュールの統合に基づく安全RLの枠組みについて紹介する。 自動車用アダプティブクルーズ制御への適用を通じて,提案された安全RLフレームワークを例示する。
  論文  参考訳（メタデータ） (2021-02-21T16:50:17Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。