論文の概要: Live Trojan Attacks on Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2004.11370v2
- Date: Wed, 27 May 2020 21:21:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 17:57:04.850083
- Title: Live Trojan Attacks on Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークに対するライブトロイの木馬攻撃
- Authors: Robby Costales, Chengzhi Mao, Raphael Norwitz, Bryan Kim, Junfeng Yang
- Abstract要約: 本稿では、メモリ内のモデルパラメータをパッチして、事前に定義された悪意のある振る舞いを実現するディープラーニングシステムに対するライブ攻撃を提案する。
トロイの木馬のトロイの木馬行動は,少数のパッチで誘発され,訓練への限られたアクセスが可能であることを示す。
- 参考スコア(独自算出の注目度): 13.780989664925258
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Like all software systems, the execution of deep learning models is dictated
in part by logic represented as data in memory. For decades, attackers have
exploited traditional software programs by manipulating this data. We propose a
live attack on deep learning systems that patches model parameters in memory to
achieve predefined malicious behavior on a certain set of inputs. By minimizing
the size and number of these patches, the attacker can reduce the amount of
network communication and memory overwrites, with minimal risk of system
malfunctions or other detectable side effects. We demonstrate the feasibility
of this attack by computing efficient patches on multiple deep learning models.
We show that the desired trojan behavior can be induced with a few small
patches and with limited access to training data. We describe the details of
how this attack is carried out on real systems and provide sample code for
patching TensorFlow model parameters in Windows and in Linux. Lastly, we
present a technique for effectively manipulating entropy on perturbed inputs to
bypass STRIP, a state-of-the-art run-time trojan detection technique.
- Abstract(参考訳): すべてのソフトウェアシステムと同様に、ディープラーニングモデルの実行は、部分的には、メモリ内のデータとして表現されるロジックによって決定される。
何十年もの間、攻撃者は従来のソフトウェアプログラムを利用してデータを操作してきた。
本研究では,メモリ内のモデルパラメータをパッチし,特定の入力に対して予め定義された悪意のある動作を実現するディープラーニングシステムに対するライブ攻撃を提案する。
これらのパッチのサイズと数を最小限にすることで、攻撃者はネットワーク通信とメモリ上書きの量を減らし、システム障害や検出可能な副作用の最小限のリスクを負う。
複数のディープラーニングモデルに対する効率的なパッチ計算により,この攻撃の可能性を示す。
所望のトロイの木馬行動は、少数の小さなパッチで誘導でき、訓練データへのアクセスも制限されている。
この攻撃が実際のシステムでどのように実行されるかの詳細を説明し、WindowsとLinuxでTensorFlowモデルパラメータをパッチするサンプルコードを提供する。
最後に,現在最先端のトロイの木馬検出技術であるSTRIPをバイパスするために,摂動入力のエントロピーを効果的に操作する手法を提案する。
関連論文リスト
- Attention-Enhancing Backdoor Attacks Against BERT-based Models [54.070555070629105]
バックドア攻撃の戦略を調べることは、モデルの脆弱性を理解するのに役立つだろう。
本稿では,注意パターンを直接操作することでトロイの木馬行動を向上させる新しいトロイの木馬注意損失(TAL)を提案する。
論文 参考訳(メタデータ) (2023-10-23T01:24:56Z) - Exploiting Machine Unlearning for Backdoor Attacks in Deep Learning
System [4.9233610638625604]
マシンアンラーニングに基づく新しいブラックボックスバックドア攻撃を提案する。
攻撃者はまず、毒や緩和データを含む慎重に設計されたサンプルでトレーニングセットを強化し、良心のモデルを訓練する。
そして、攻撃者は、モデルの関連するデータの影響を取り除くために、未学習のサンプルに対するリクエストをポストし、徐々に隠れたバックドアを活性化する。
論文 参考訳(メタデータ) (2023-09-12T02:42:39Z) - FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。
FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
論文 参考訳(メタデータ) (2023-02-28T11:31:29Z) - DeepPayload: Black-box Backdoor Attack on Deep Learning Models through
Neural Payload Injection [17.136757440204722]
我々は,コンパイルされたディープラーニングモデルに対して,リバースエンジニアリング技術を用いて,極めて実用的なバックドアアタックを導入する。
注入されたバックドアは93.5%の成功率で起動できるが、遅延オーバーヘッドは2ms以下で精度は1.4%以下である。
人気アプリやセキュリティクリティカルアプリなど、攻撃に対して脆弱な54のアプリが見つかりました。
論文 参考訳(メタデータ) (2021-01-18T06:29:30Z) - Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。
本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。
本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
論文 参考訳(メタデータ) (2020-07-28T19:00:40Z) - Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。
既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。
そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
論文 参考訳(メタデータ) (2020-07-16T06:55:00Z) - An Embarrassingly Simple Approach for Trojan Attack in Deep Neural
Networks [59.42357806777537]
トロイの木馬攻撃は、ハッカーが挿入した隠れトリガーパターンに依存する、デプロイされたディープニューラルネットワーク(DNN)を攻撃することを目的としている。
そこで本研究では,有毒データセットの再学習モデルによりトロイの木馬の挙動を注入する,従来と異なる学習自由攻撃手法を提案する。
提案したTrojanNetには,(1)小さなトリガパターンによって起動し,他の信号に対してサイレントを維持する,(2)モデルに依存しない,ほとんどのDNNに注入可能な,(3)攻撃シナリオを劇的に拡張する,(3)訓練不要のメカニズムは従来のトロイの木馬攻撃方法と比較して大規模なトレーニング作業の削減など,いくつかの優れた特性がある。
論文 参考訳(メタデータ) (2020-06-15T04:58:28Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳(メタデータ) (2020-06-10T04:12:53Z) - DeepMAL -- Deep Learning Models for Malware Traffic Detection and
Classification [4.187494796512101]
本稿では、悪意のあるトラフィックの基盤となる統計をキャプチャできるDLモデルであるDeepMALを紹介する。
DeepMALは、従来の浅層モデルよりも高い精度でマルウェアフローを検出・分類できることを示す。
論文 参考訳(メタデータ) (2020-03-03T16:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。