論文の概要: The Feasibility and Inevitability of Stealth Attacks
- arxiv url: http://arxiv.org/abs/2106.13997v1
- Date: Sat, 26 Jun 2021 10:50:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-30 09:03:25.298294
- Title: The Feasibility and Inevitability of Stealth Attacks
- Title（参考訳）: ステルス攻撃の可能性と不可避性
- Authors: Ivan Y. Tyukin, Desmond J. Higham, Eliyas Woldegeorgis, Alexander N.
Gorban
- Abstract要約: 我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
- 参考スコア（独自算出の注目度）: 63.14766152741211
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop and study new adversarial perturbations that enable an attacker to
gain control over decisions in generic Artificial Intelligence (AI) systems
including deep learning neural networks. In contrast to adversarial data
modification, the attack mechanism we consider here involves alterations to the
AI system itself. Such a stealth attack could be conducted by a mischievous,
corrupt or disgruntled member of a software development team. It could also be
made by those wishing to exploit a "democratization of AI" agenda, where
network architectures and trained parameter sets are shared publicly. Building
on work by [Tyukin et al., International Joint Conference on Neural Networks,
2020], we develop a range of new implementable attack strategies with
accompanying analysis, showing that with high probability a stealth attack can
be made transparent, in the sense that system performance is unchanged on a
fixed validation set which is unknown to the attacker, while evoking any
desired output on a trigger input of interest. The attacker only needs to have
estimates of the size of the validation set and the spread of the AI's relevant
latent space. In the case of deep learning neural networks, we show that a one
neuron attack is possible - a modification to the weights and bias associated
with a single neuron - revealing a vulnerability arising from
over-parameterization. We illustrate these concepts in a realistic setting.
Guided by the theory and computational results, we also propose strategies to
guard against stealth attacks.
- Abstract（参考訳）: 我々は、ディープラーニングニューラルネットワークを含む汎用人工知能(AI)システムにおいて、攻撃者が決定を制御できる新しい敵対的摂動を開発し、研究する。
逆データ修正とは対照的に、ここで検討する攻撃メカニズムには、aiシステム自体の変更が含まれる。
このようなステルス攻撃は,ソフトウェア開発チームの不正な,腐敗した,あるいは不満を抱いたメンバによって実施することができる。
また、ネットワークアーキテクチャとトレーニングされたパラメータセットを公開して共有する"AIの民主化"アジェンダを利用したい人々によっても実現される。
ニューラルネットワークに関する国際合同会議(2020年)の成果に基づいて,我々は,攻撃者にとって未知の固定された検証セット上でのシステム性能が変化しないという意味で,高い確率でステルス攻撃を透過的にすることができることを示すとともに,興味の引き金入力に対する任意の所望の出力を誘発する,一連の新しい実装可能な攻撃戦略を開発した。
攻撃者は、検証セットのサイズとAIの関連する潜伏空間の広がりを見積もるだけでよい。
深層学習ニューラルネットワークの場合、単一ニューロン攻撃(単一ニューロンに関連する重みとバイアスの変更)が可能であることを示し、過度なパラメータ化に起因する脆弱性を明らかにします。
これらの概念を現実的な設定で説明します。
また,理論と計算結果から,ステルス攻撃に対する防御戦略を提案する。
関連論文リスト
- Revealing Vulnerabilities of Neural Networks in Parameter Learning and Defense Against Explanation-Aware Backdoors [2.1165011830664673]
ブラディング攻撃は、機械学習アルゴリズムの予測と説明を大きく変える可能性がある。
我々は統計的解析を利用して、目隠し攻撃後のCNN内のCNN重みの変化を明らかにする。
本研究では,評価段階における攻撃の有効性を限定する手法を提案する。
論文 参考訳（メタデータ） (2024-03-25T09:36:10Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳（メタデータ） (2021-11-23T23:42:16Z) - TnT Attacks! Universal Naturalistic Adversarial Patches Against Deep
Neural Network Systems [15.982408142401072]
ディープニューラルネットワークは、敵対的な入力からの攻撃に対して脆弱であり、最近では、トロイの木馬がモデルの判断を誤解したりハイジャックしたりする。
TnTは、シーン内でTnTでキャプチャされた任意の入力画像は、ネットワーク(未攻撃)を誤認する。
既存の最先端手法よりも高い攻撃成功率を達成するパッチを作成するための攻撃の一般化を示す。
論文 参考訳（メタデータ） (2021-11-19T01:35:10Z) - Automating Privilege Escalation with Deep Reinforcement Learning [71.87228372303453]
本研究では,エージェントの訓練に深層強化学習を用いることで,悪意あるアクターの潜在的な脅威を実証する。
本稿では,最先端の強化学習アルゴリズムを用いて,局所的な特権エスカレーションを行うエージェントを提案する。
我々のエージェントは、実際の攻撃センサーデータを生成し、侵入検知システムの訓練と評価に利用できる。
論文 参考訳（メタデータ） (2021-10-04T12:20:46Z) - Adversarial Attack Attribution: Discovering Attributable Signals in
Adversarial ML Attacks [0.7883722807601676]
自動運転車やML-as-a-serviceのような生産システムでさえ、逆の入力の影響を受けやすい。
摂動入力は、攻撃を生成するために使われるメソッドに起因できるだろうか?
敵対攻撃属性の概念を導入し、敵対攻撃における攻撃可能信号の発見可能性を調べるための単純な教師付き学習実験フレームワークを作成する。
論文 参考訳（メタデータ） (2021-01-08T08:16:41Z) - An Empirical Review of Adversarial Defenses [0.913755431537592]
このようなシステムの基礎を形成するディープニューラルネットワークは、敵対攻撃と呼ばれる特定のタイプの攻撃に非常に影響を受けやすい。
ハッカーは、最小限の計算でも、敵対的な例(他のクラスに属するイメージやデータポイント)を生成し、そのようなアルゴリズムの基礎を崩壊させることができます。
本稿では,DropoutとDenoising Autoencodersの2つの効果的な手法を示し,そのような攻撃がモデルを騙すのを防ぐことに成功したことを示す。
論文 参考訳（メタデータ） (2020-12-10T09:34:41Z) - A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。
本稿では,入力空間における自己教師型対向学習機構を提案する。
これは、反逆攻撃に対する強力な堅牢性を提供する。
論文 参考訳（メタデータ） (2020-06-08T20:42:39Z) - On Adversarial Examples and Stealth Attacks in Artificial Intelligence
Systems [62.997667081978825]
本稿では,汎用人工知能(AI)システムに対する2種類の多元性行動の評価と分析を行うための公式な枠組みを提案する。
最初のクラスは、逆例を含み、誤分類を引き起こす入力データの小さな摂動の導入を懸念する。
第2のクラスは、ここで初めて導入され、ステルス攻撃と名付けられたもので、AIシステム自体に対する小さな摂動を伴う。
論文 参考訳（メタデータ） (2020-04-09T10:56:53Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳（メタデータ） (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。