論文の概要: Training Adversarial Agents to Exploit Weaknesses in Deep Control Policies

• arxiv url: http://arxiv.org/abs/2002.12078v1
• Date: Thu, 27 Feb 2020 13:14:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 08:32:20.431033
• Title: Training Adversarial Agents to Exploit Weaknesses in Deep Control Policies
• Title（参考訳）: 深部制御政策における弱さの爆発訓練
• Authors: Sampo Kuutti, Saber Fallah, Richard Bowden
• Abstract要約: 対戦型強化学習に基づく自動ブラックボックステストフレームワークを提案する。 提案手法は, オンラインテストにおいて明らかでないコントロールポリシの両方において, 弱点を見出すことができることを示す。
• 参考スコア（独自算出の注目度）: 47.08581439933752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has become an increasingly common technique for various control problems, such as robotic arm manipulation, robot navigation, and autonomous vehicles. However, the downside of using deep neural networks to learn control policies is their opaque nature and the difficulties of validating their safety. As the networks used to obtain state-of-the-art results become increasingly deep and complex, the rules they have learned and how they operate become more challenging to understand. This presents an issue, since in safety-critical applications the safety of the control policy must be ensured to a high confidence level. In this paper, we propose an automated black box testing framework based on adversarial reinforcement learning. The technique uses an adversarial agent, whose goal is to degrade the performance of the target model under test. We test the approach on an autonomous vehicle problem, by training an adversarial reinforcement learning agent, which aims to cause a deep neural network-driven autonomous vehicle to collide. Two neural networks trained for autonomous driving are compared, and the results from the testing are used to compare the robustness of their learned control policies. We show that the proposed framework is able to find weaknesses in both control policies that were not evident during online testing and therefore, demonstrate a significant benefit over manual testing methods.
• Abstract（参考訳）: ディープラーニングは、ロボットアーム操作、ロボットナビゲーション、自律走行車など、さまざまな制御問題の一般的なテクニックになりつつある。 しかし、ディープニューラルネットワークを使用して制御ポリシーを学ぶことの欠点は、その不透明な性質と安全性を検証することの難しさである。 最先端の結果を得るためのネットワークは、ますます深く複雑になり、彼らが学んだルールやその運用方法を理解するのが難しくなる。 これは、安全クリティカルなアプリケーションでは、制御ポリシーの安全性は高い信頼性レベルに保証されなければならないため、問題となる。 本稿では,敵対的強化学習に基づく自動ブラックボックステストフレームワークを提案する。 この手法は、テスト対象モデルの性能を劣化させることを目標とする敵エージェントを使用する。 本研究は,ニューラルネットワーク駆動型自律走行車が衝突する原因となる敵の強化学習エージェントを訓練することにより,自動運転車問題に対するアプローチをテストする。 自律運転のために訓練された2つのニューラルネットワークを比較し、テストの結果を用いて学習した制御ポリシーの堅牢性を比較する。 提案手法は,オンラインテストでは明らかでないコントロールポリシの弱点を見つけることができ,手作業によるテスト方法よりも大きなメリットがあることを示す。

関連論文リスト

• Rethinking Robustness Assessment: Adversarial Attacks on Learning-based Quadrupedal Locomotion Controllers [33.50779001548997]
  Legged locomotionは最近、機械学習技術の進歩で顕著な成功を収めた。 学習した移動制御器の弱点を識別するために,逐次的敵攻撃を利用する計算手法を提案する。 我々の研究は、最先端のロバストコントローラーでさえ、十分に設計された低マグニチュード逆数列の下では著しく失敗することを示した。
  論文  参考訳（メタデータ） (2024-05-21T00:26:11Z)
• A Survey on Reinforcement Learning Security with Application to Autonomous Driving [23.2255446652987]
  強化学習は、機械が自身の経験から学ぶことを可能にする。 自律運転などの安全上重要な用途で使用される。 本稿では,自律運転における強化学習アルゴリズムの適用性について論じる。
  論文  参考訳（メタデータ） (2022-12-12T18:50:49Z)
• Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing [52.50284630866713]
  既存のシステムは、状態推定、計画、制御のために手作業によるコンポーネントを必要とすることが多い。 本稿では、深層感触者ポリシーを学習することで、視覚に基づく自律ドローンレース問題に取り組む。
  論文  参考訳（メタデータ） (2022-10-26T19:03:17Z)
• Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment [3.8073142980733]
  視覚に基づく自律運転における深層強化学習の比較のためのベンチマークフレームワークを提案する。 この実験は、視覚のみの高忠実度都市運転模擬環境で実施する。 その結果, 深層強化学習アルゴリズムのいくつかは, シングルエージェントとマルチエージェントのシナリオで一貫した性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T15:14:50Z)
• Automating Privilege Escalation with Deep Reinforcement Learning [71.87228372303453]
  本研究では,エージェントの訓練に深層強化学習を用いることで,悪意あるアクターの潜在的な脅威を実証する。 本稿では,最先端の強化学習アルゴリズムを用いて,局所的な特権エスカレーションを行うエージェントを提案する。 我々のエージェントは、実際の攻撃センサーデータを生成し、侵入検知システムの訓練と評価に利用できる。
  論文  参考訳（メタデータ） (2021-10-04T12:20:46Z)
• Weakly Supervised Reinforcement Learning for Autonomous Highway Driving via Virtual Safety Cages [42.57240271305088]
  規則に基づく安全ケージは、車両の安全性の向上と強化学習エージェントに対する弱い監督を提供する自律型車両の縦方向制御に対する強化学習ベースのアプローチを提示する。 モデルパラメータが制約されたり,あるいは最適化されていない場合,モデルが強化学習だけでは運転を訓練できない場合でも,モデルが安全な運転方針を学習できることを示す。
  論文  参考訳（メタデータ） (2021-03-17T15:30:36Z)
• Adversarial Training is Not Ready for Robot Learning [55.493354071227174]
  対人訓練は,ノルム有界摂動に耐性のあるディープラーニングモデルを訓練する有効な方法である。 敵訓練により得られたニューラルコントローラが3種類の欠陥を受けることを理論的および実験的に示す。 この結果から, ロボット学習にはまだ対応できていないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-15T07:51:31Z)
• Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
  本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。 実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-01-28T16:38:26Z)
• Falsification-Based Robust Adversarial Reinforcement Learning [13.467693018395863]
  Falsification-based RARL (FRARL) は、対人学習における時間論理のファルシフィケーションを統合するための最初の汎用フレームワークである。 実験結果から, ファルシフィケーションをベースとした対向法で訓練したポリシーは, より一般化され, テストシナリオにおける安全仕様の違反が少なくなることが示された。
  論文  参考訳（メタデータ） (2020-07-01T18:32:05Z)
• Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning [91.13113161754022]
  本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。 実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-02-20T21:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。