論文の概要: Investigating Vulnerabilities of Deep Neural Policies
- arxiv url: http://arxiv.org/abs/2108.13093v1
- Date: Mon, 30 Aug 2021 10:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-31 15:06:40.599806
- Title: Investigating Vulnerabilities of Deep Neural Policies
- Title（参考訳）: 深部神経政策の脆弱性調査
- Authors: Ezgi Korkmaz
- Abstract要約: 深層ニューラルネットワークに基づく強化学習ポリシーは、入力に対する非受容的な逆転摂動に対して脆弱である。
近年の研究では, 対向的摂動に対する深部強化学習エージェントの堅牢性向上のためのいくつかの手法が提案されている。
エージェントが学習した神経政策に対する対人訓練の効果について検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning policies based on deep neural networks are vulnerable
to imperceptible adversarial perturbations to their inputs, in much the same
way as neural network image classifiers. Recent work has proposed several
methods to improve the robustness of deep reinforcement learning agents to
adversarial perturbations based on training in the presence of these
imperceptible perturbations (i.e. adversarial training). In this paper, we
study the effects of adversarial training on the neural policy learned by the
agent. In particular, we follow two distinct parallel approaches to investigate
the outcomes of adversarial training on deep neural policies based on
worst-case distributional shift and feature sensitivity. For the first
approach, we compare the Fourier spectrum of minimal perturbations computed for
both adversarially trained and vanilla trained neural policies. Via experiments
in the OpenAI Atari environments we show that minimal perturbations computed
for adversarially trained policies are more focused on lower frequencies in the
Fourier domain, indicating a higher sensitivity of these policies to low
frequency perturbations. For the second approach, we propose a novel method to
measure the feature sensitivities of deep neural policies and we compare these
feature sensitivity differences in state-of-the-art adversarially trained deep
neural policies and vanilla trained deep neural policies. We believe our
results can be an initial step towards understanding the relationship between
adversarial training and different notions of robustness for neural policies.
- Abstract（参考訳）: ディープニューラルネットワークに基づく強化学習ポリシは、ニューラルネットワークイメージ分類器とほとんど同じように、入力に対する知覚不能な逆向きの摂動に対して脆弱である。
近年の研究では, 深い強化学習エージェントの対人摂動に対する堅牢性を, 知覚不能摂動の存在下でのトレーニングに基づいて改善する手法が提案されている。
対人訓練)。
本稿では,エージェントが学習した神経政策に対する対人訓練の効果について検討する。
特に,最悪の分布シフトと特徴感度に基づく深層神経政策における敵意訓練の結果を検討するために,二つの異なる並列アプローチを採った。
第1のアプローチでは、逆行訓練とバニラ訓練の両方で計算された最小摂動のフーリエスペクトルを比較する。
openai atari環境における実験により,敵が訓練したポリシーで計算された最小摂動はフーリエ領域の低周波に集中しており,低周波摂動に対するこれらのポリシーの感度が高いことを示している。
第2のアプローチでは、深層神経政策の特徴感度を測定する新しい手法を提案し、これらの特徴感度差を、最先端の対角神経政策とバニラ訓練の深部神経政策で比較した。
我々の結果は、敵の訓練とニューラルポリシーに対する堅牢性の概念の異なる関係を理解するための最初のステップであると考えている。
関連論文リスト
- Understanding and Diagnosing Deep Reinforcement Learning [14.141453107129403]
最近、バイオテクノロジーから自動化された金融システムまで、さまざまな設定にディープ・ニューラル・ポリシーがインストールされている。
本稿では,時間と空間の両面での深部神経政策決定の方向性を体系的に分析する理論的手法を提案する。
論文 参考訳（メタデータ） (2024-06-23T18:10:16Z) - Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。
本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。
ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-07T17:50:15Z) - Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。
敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。
対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
論文 参考訳（メタデータ） (2023-06-19T16:00:48Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳（メタデータ） (2022-06-05T08:49:16Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳（メタデータ） (2022-05-30T18:04:57Z) - Adversarial Robustness in Deep Learning: Attacks on Fragile Neurons [0.6899744489931016]
第1畳み込み層の結節投棄を用いて, 深層学習アーキテクチャの脆弱で頑健なニューロンを同定した。
これらのニューロンは,ネットワーク上の敵攻撃の分布と相関する。
論文 参考訳（メタデータ） (2022-01-31T14:34:07Z) - Deep Reinforcement Learning Policies Learn Shared Adversarial Features
Across MDPs [0.0]
本研究では, 意思決定境界と損失景観の類似性について, 州間およびMDP間で検討する枠組みを提案する。
我々はアーケード学習環境から様々なゲームで実験を行い、MDP間で神経政策の高感度方向が相関していることを発見した。
論文 参考訳（メタデータ） (2021-12-16T17:10:41Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳（メタデータ） (2020-05-20T16:56:08Z) - Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve
Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。
予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文 参考訳（メタデータ） (2020-03-02T18:27:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。