論文の概要: Analyzing Adversarial Inputs in Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2402.05284v1
- Date: Wed, 7 Feb 2024 21:58:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 17:07:23.530839
- Title: Analyzing Adversarial Inputs in Deep Reinforcement Learning
- Title(参考訳): 深層強化学習における逆入力の分析
- Authors: Davide Corsi, Guy Amir, Guy Katz, Alessandro Farinelli
- Abstract要約: 本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
- 参考スコア(独自算出の注目度): 53.3760591018817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, Deep Reinforcement Learning (DRL) has become a popular
paradigm in machine learning due to its successful applications to real-world
and complex systems. However, even the state-of-the-art DRL models have been
shown to suffer from reliability concerns -- for example, their susceptibility
to adversarial inputs, i.e., small and abundant input perturbations that can
fool the models into making unpredictable and potentially dangerous decisions.
This drawback limits the deployment of DRL systems in safety-critical contexts,
where even a small error cannot be tolerated. In this work, we present a
comprehensive analysis of the characterization of adversarial inputs, through
the lens of formal verification. Specifically, we introduce a novel metric, the
Adversarial Rate, to classify models based on their susceptibility to such
perturbations, and present a set of tools and algorithms for its computation.
Our analysis empirically demonstrates how adversarial inputs can affect the
safety of a given DRL system with respect to such perturbations. Moreover, we
analyze the behavior of these configurations to suggest several useful
practices and guidelines to help mitigate the vulnerability of trained DRL
networks.
- Abstract(参考訳): 近年、ディープラーニング(DRL)は、現実世界や複雑なシステムへの応用の成功により、機械学習において一般的なパラダイムとなっている。
しかし、最先端のdrlモデルでさえ、例えば、モデルが予測不能で潜在的に危険な決定を下すのを騙すことができる小規模で豊富な入力摂動といった、信頼性の問題に苦しんでいることが示されている。
この欠点は、小さなエラーでも許容できない安全クリティカルなコンテキストにおけるDRLシステムのデプロイを制限する。
本稿では,形式的検証のレンズを通して,逆入力のキャラクタリゼーションの包括的解析を行う。
具体的には,そのような摂動に対する感受性に基づいてモデルを分類し,その計算のためのツールとアルゴリズムのセットを提案する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
さらに、これらの構成の挙動を分析し、訓練されたDRLネットワークの脆弱性を軽減するためにいくつかの有用なプラクティスとガイドラインを提案する。
関連論文リスト
- Utilizing Explainability Techniques for Reinforcement Learning Model
Assurance [42.302469854610315]
説明可能な強化学習(XRL)は、深層強化学習(DRL)モデルの意思決定プロセスに透明性を提供する。
本稿では,オープンソースのPythonライブラリであるARLIN (Assured RL Model Interrogation) Toolkitを紹介する。
論文 参考訳(メタデータ) (2023-11-27T14:02:47Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳(メタデータ) (2022-03-25T19:57:19Z) - Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。
この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。
実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
論文 参考訳(メタデータ) (2022-02-21T14:43:38Z) - Adversarial Machine Learning In Network Intrusion Detection Domain: A
Systematic Review [0.0]
ディープラーニングモデルは、誤った分類決定を行うためにモデルを誤解させる可能性のあるデータインスタンスに対して脆弱であることがわかった。
本調査では,ネットワーク侵入検出分野における敵機械学習のさまざまな側面を利用した研究について検討する。
論文 参考訳(メタデータ) (2021-12-06T19:10:23Z) - Neural Network Repair with Reachability Analysis [10.384532888747993]
安全は次世代の自律性にとって重要な問題であり、知覚と制御のためにディープニューラルネットワークに大きく依存する可能性が高い。
本研究は,安全クリティカルシステムにおける安全でないDNNを到達可能性解析で修復する枠組みを提案する。
論文 参考訳(メタデータ) (2021-08-09T17:56:51Z) - A new interpretable unsupervised anomaly detection method based on
residual explanation [47.187609203210705]
本稿では,大規模システムにおけるAEベースのADの制限に対処する新しい解釈可能性手法であるRXPを提案する。
実装の単純さ、計算コストの低さ、決定論的振る舞いが特徴である。
実鉄道路線のデータを用いた実験において,提案手法はSHAPよりも優れた性能を示した。
論文 参考訳(メタデータ) (2021-03-14T15:35:45Z) - Evaluating the Safety of Deep Reinforcement Learning Models using
Semi-Formal Verification [81.32981236437395]
本稿では,区間分析に基づく半形式的意思決定手法を提案する。
本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。
提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
論文 参考訳(メタデータ) (2020-10-19T11:18:06Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。