論文の概要: BDefects4NN: A Backdoor Defect Database for Controlled Localization Studies in Neural Networks

• arxiv url: http://arxiv.org/abs/2412.00746v1
• Date: Sun, 01 Dec 2024 09:52:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:48:42.292913
• Title: BDefects4NN: A Backdoor Defect Database for Controlled Localization Studies in Neural Networks
• Title（参考訳）: BDefects4NN: ニューラルネットワークにおける局所性制御のためのバックドア欠陥データベース
• Authors: Yisong Xiao, Aishan Liu, Xinwei Zhang, Tianyuan Zhang, Tianlin Li, Siyuan Liang, Xianglong Liu, Yang Liu, Dacheng Tao,
• Abstract要約: ローカライゼーション研究のための最初のバックドア欠陥データベースであるBDefects4NNを紹介する。 BDefects4NNは、ラベル付きバックドア欠陥DNNを神経細胞の粒度で提供し、欠陥根の原因の制御された局在化研究を可能にする。 本研究は, バックドア欠陥に対して限られた有効性を示す6つの障害局所化基準と2つの欠陥修復手法の評価実験を行った。
• 参考スコア（独自算出の注目度）: 65.666913051617
• License:
• Abstract: Pre-trained large deep learning models are now serving as the dominant component for downstream middleware users and have revolutionized the learning paradigm, replacing the traditional approach of training from scratch locally. To reduce development costs, developers often integrate third-party pre-trained deep neural networks (DNNs) into their intelligent software systems. However, utilizing untrusted DNNs presents significant security risks, as these models may contain intentional backdoor defects resulting from the black-box training process. These backdoor defects can be activated by hidden triggers, allowing attackers to maliciously control the model and compromise the overall reliability of the intelligent software. To ensure the safe adoption of DNNs in critical software systems, it is crucial to establish a backdoor defect database for localization studies. This paper addresses this research gap by introducing BDefects4NN, the first backdoor defect database, which provides labeled backdoor-defected DNNs at the neuron granularity and enables controlled localization studies of defect root causes. In BDefects4NN, we define three defect injection rules and employ four representative backdoor attacks across four popular network architectures and three widely adopted datasets, yielding a comprehensive database of 1,654 backdoor-defected DNNs with four defect quantities and varying infected neurons. Based on BDefects4NN, we conduct extensive experiments on evaluating six fault localization criteria and two defect repair techniques, which show limited effectiveness for backdoor defects. Additionally, we investigate backdoor-defected models in practical scenarios, specifically in lane detection for autonomous driving and large language models (LLMs), revealing potential threats and highlighting current limitations in precise defect localization.
• Abstract（参考訳）: 事前トレーニングされた大規模なディープラーニングモデルは、現在、ダウンストリームミドルウェアユーザの主要なコンポーネントとして機能し、学習パラダイムに革命をもたらし、スクラッチからスクラッチの従来のアプローチを置き換えています。 開発コストを削減するため、開発者は、サードパーティが事前訓練したディープニューラルネットワーク(DNN)をインテリジェントなソフトウェアシステムに統合することが多い。 しかしながら、信頼できないDNNを利用することは、ブラックボックストレーニングプロセスによる意図的なバックドア欠陥を含む可能性があるため、重大なセキュリティリスクを生じさせる。 これらのバックドア欠陥は、隠れたトリガーによってアクティベートされ、攻撃者はモデルを悪意を持って制御し、インテリジェントソフトウェア全体の信頼性を損なうことができる。 重要なソフトウェアシステムにおけるDNNの安全な採用を保証するため,ローカライゼーション研究のためのバックドア欠陥データベースを確立することが重要である。 本稿では,最初のバックドア欠陥データベースであるBDefects4NNを導入することにより,神経細胞の粒度にラベル付きバックドア欠陥DNNを提供するとともに,欠陥根原因の局所化の制御を可能にする。 BDefects4NNでは、3つの欠陥注入ルールを定義し、4つの人気のあるネットワークアーキテクチャと3つの広く採用されているデータセットに4つの代表的なバックドア攻撃を適用し、4つの欠陥量を持つ1,654個のバックドア欠損DNNを包括的にデータベース化する。 BDefects4NNに基づいて,6つの障害局所化基準と2つの欠陥修復手法の評価を行った。 さらに,自動走行および大規模言語モデル(LLM)の車線検出において,バックドア欠陥モデルについて検討し,潜在的な脅威を明らかにし,正確な欠陥ローカライゼーションにおける現在の限界を明らかにする。

関連論文リスト

• Rethinking Pruning for Backdoor Mitigation: An Optimization Perspective [19.564985801521814]
  バックドアモデルの修復に,グラフニューラルネットワーク(GNN)と強化学習(RL)を併用したONP(Optimized Neuron Pruning)法を提案する。 少量のクリーンデータにより、ONPは、無視可能な性能劣化を犠牲にして、バックドアアタックによって埋め込まれたバックドアニューロンを効果的にプルークすることができる。
  論文  参考訳（メタデータ） (2024-05-28T01:59:06Z)
• Advancing Security in AI Systems: A Novel Approach to Detecting Backdoors in Deep Neural Networks [3.489779105594534]
  バックドアは、ディープニューラルネットワーク(DNN)上の悪意あるアクターと、データ処理のためのクラウドサービスによって悪用される。 提案手法は高度テンソル分解アルゴリズムを利用して,事前学習したDNNの重みを慎重に解析し,バックドアモデルとクリーンモデルとの区別を行う。 この進歩は、ネットワークシステムにおけるディープラーニングとAIのセキュリティを強化し、新興技術の脅威の進化に対して不可欠なサイバーセキュリティを提供する。
  論文  参考訳（メタデータ） (2024-03-13T03:10:11Z)
• Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
  本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。 RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。 このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:29:30Z)
• An anomaly detection approach for backdoored neural networks: face recognition as a case study [77.92020418343022]
  本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。 バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
  論文  参考訳（メタデータ） (2022-08-22T12:14:13Z)
• FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions [0.05249805590164901]
  ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。 本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
  論文  参考訳（メタデータ） (2021-12-27T07:07:50Z)
• AEVA: Black-box Backdoor Detection Using Adversarial Extreme Value Analysis [23.184335982913325]
  ブラックボックスのハードラベルバックドア検出問題に対処する。 本研究では, バックドア検出の目的は, 逆方向の目的によって拘束されていることを示す。 ブラックボックスニューラルネットワークのバックドア検出のための対向的極値解析を提案する。
  論文  参考訳（メタデータ） (2021-10-28T04:36:48Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Noise-Response Analysis of Deep Neural Networks Quantifies Robustness and Fingerprints Structural Malware [48.7072217216104]
  ディープ・ニューラル・ネットワーク(DNN)は構造的マルウェア(すなわち、重みと活性化経路)を持つ バックドアの検出は一般的に困難であり、既存の検出手法は計算に高価であり、膨大なリソースを必要とする(トレーニングデータへのアクセスなど)。 そこで本研究では,DNNの堅牢性,指紋の非線形性を定量化し,バックドアの検出を可能にする,高速な特徴生成手法を提案する。 実験の結果,既存の手法(秒対秒)よりも高い信頼度でバックドアを正確に検出できることが判明した。
  論文  参考訳（メタデータ） (2020-07-31T23:52:58Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。