論文の概要: Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly
Detection
- arxiv url: http://arxiv.org/abs/2011.02526v1
- Date: Wed, 4 Nov 2020 20:33:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 22:40:47.982763
- Title: Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly
Detection
- Title(参考訳): 特徴量に基づく新しい異常検出によるニューラルネットワークのバックドア検出
- Authors: Hao Fu, Akshaj Kumar Veldanda, Prashanth Krishnamurthy, Siddharth
Garg, and Farshad Khorrami
- Abstract要約: 本稿では,ニューラルネットワークのバックドア攻撃に対する新たな防御法を提案する。
バックドアネットワークの機能抽出層が新機能を組み込んでトリガーの存在を検出するという直感に基づいている。
バックドアの検出には、クリーンな検証データに基づいて訓練された2つの相乗的異常検出器を使用する。
- 参考スコア(独自算出の注目度): 16.010654200489913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a new defense against neural network backdooring attacks
that are maliciously trained to mispredict in the presence of attacker-chosen
triggers. Our defense is based on the intuition that the feature extraction
layers of a backdoored network embed new features to detect the presence of a
trigger and the subsequent classification layers learn to mispredict when
triggers are detected. Therefore, to detect backdoors, the proposed defense
uses two synergistic anomaly detectors trained on clean validation data: the
first is a novelty detector that checks for anomalous features, while the
second detects anomalous mappings from features to outputs by comparing with a
separate classifier trained on validation data. The approach is evaluated on a
wide range of backdoored networks (with multiple variations of triggers) that
successfully evade state-of-the-art defenses. Additionally, we evaluate the
robustness of our approach on imperceptible perturbations, scalability on
large-scale datasets, and effectiveness under domain shift. This paper also
shows that the defense can be further improved using data augmentation.
- Abstract(参考訳): 本稿では,攻撃者-チョセントリガーの存在下で誤った予測を行うように悪意をもって訓練されたニューラルネットワークバックドア攻撃に対する新たな防御手法を提案する。
我々の防御は、バックドアネットワークの特徴抽出層が新しい特徴を組み込んでトリガーの存在を検知し、その後の分類層がトリガーが検出された際の誤予測を学習するという直感に基づいている。
そこで, バックドアを検知するために, クリーンな検証データに基づいて訓練された2つの相乗的異常検出器を用いた。第1は異常な特徴をチェックするノベルティ検出器であり, 第2は特徴から出力への異常マッピングを, 検証データに基づいて訓練された別分類器との比較により検出する。
このアプローチは、最先端の防御をうまく回避できる幅広いバックドアネットワーク(トリガーのバリエーションが複数ある)で評価される。
さらに,本手法の頑健性,大規模データセットのスケーラビリティ,ドメインシフト時の有効性を評価する。
また,データ拡張により防御性をさらに向上できることを示す。
関連論文リスト
- Twin Trigger Generative Networks for Backdoor Attacks against Object Detection [14.578800906364414]
オブジェクト検出器は、現実世界のアプリケーションで広く使われているが、バックドア攻撃に弱い。
バックドア攻撃に関するほとんどの研究は画像分類に焦点を合わせており、物体検出について限定的な研究がなされている。
本研究では,トレーニング中のモデルにバックドアを埋め込むための目に見えないトリガと,推論中の安定したアクティベーションのための目に見えるトリガを生成する新しいツイントリガ生成ネットワークを提案する。
論文 参考訳(メタデータ) (2024-11-23T03:46:45Z) - A Robust Likelihood Model for Novelty Detection [8.766411351797883]
新規性や異常検出に対する現在のアプローチは、ディープニューラルネットワークに基づいている。
我々は、攻撃に対する防御として、新規性テストの堅牢な可能性を学ぶことを目的とした新しい事前提案を行う。
我々はまた、最先端のノベルティ検出アプローチと、それ以前のものを統合する。
論文 参考訳(メタデータ) (2023-06-06T01:02:31Z) - FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。
FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
論文 参考訳(メタデータ) (2023-02-28T11:31:29Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - An anomaly detection approach for backdoored neural networks: face
recognition as a case study [77.92020418343022]
本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。
バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
論文 参考訳(メタデータ) (2022-08-22T12:14:13Z) - VPN: Verification of Poisoning in Neural Networks [11.221552724154988]
我々は、別のニューラルネットワークセキュリティ問題、すなわちデータ中毒について研究する。
この場合、アタッカーがトレーニングデータのサブセットにトリガーを挿入するので、テスト時にこのトリガーが入力され、トレーニングされたモデルがターゲットクラスに誤って分類される。
我々は、市販の検証ツールでチェックできるプロパティとして、データ中毒のチェックを定式化する方法を示す。
論文 参考訳(メタデータ) (2022-05-08T15:16:05Z) - Detection and Continual Learning of Novel Face Presentation Attacks [23.13064343026656]
最先端の対偽造防止システムは、トレーニング中に見たことのない新しいタイプの攻撃に対して、依然として脆弱である。
本稿では、深層ニューラルネットワークを用いて、観測された入力データポイントの異常を新しいタイプの攻撃として検出する。
次に、経験的なリプレイを使用してモデルを更新し、過去の学習された攻撃タイプを忘れずに、新しいタイプの攻撃に関する知識を取り入れます。
論文 参考訳(メタデータ) (2021-08-27T01:33:52Z) - Adversarially Robust One-class Novelty Detection [83.1570537254877]
既存のノベルティ検出器は敵の例に感受性があることが示される。
本稿では, 新規性検知器の潜伏空間を制御し, 敵に対する堅牢性を向上する防衛戦略を提案する。
論文 参考訳(メタデータ) (2021-08-25T10:41:29Z) - No Need to Know Physics: Resilience of Process-based Model-free Anomaly
Detection for Industrial Control Systems [95.54151664013011]
本稿では,システムの物理的特性に反する逆スプーフ信号を生成するための新しい枠組みを提案する。
トップセキュリティカンファレンスで公表された4つの異常検知器を分析した。
論文 参考訳(メタデータ) (2020-12-07T11:02:44Z) - Detection as Regression: Certified Object Detection by Median Smoothing [50.89591634725045]
この研究は、ランダム化平滑化による認定分類の最近の進歩によって動機付けられている。
我々は、$ell$-bounded攻撃に対するオブジェクト検出のための、最初のモデル非依存、トレーニング不要、認定された防御条件を得る。
論文 参考訳(メタデータ) (2020-07-07T18:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。