論文の概要: On the (In)feasibility of ML Backdoor Detection as an Hypothesis Testing
Problem
- arxiv url: http://arxiv.org/abs/2402.16926v1
- Date: Mon, 26 Feb 2024 11:43:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 19:02:36.920198
- Title: On the (In)feasibility of ML Backdoor Detection as an Hypothesis Testing
Problem
- Title(参考訳): 仮説テスト問題としてのMLバックドア検出の可能性について
- Authors: Georg Pichler, Marco Romanelli, Divya Prakash Manivannan, Prashanth
Krishnamurthy, Farshad Khorrami, Siddharth Garg
- Abstract要約: 機械学習システムにおけるバックドア検出問題に対する公式な統計的定義を導入する。
我々は、非常に小さなアルファベットサイズを除いて、普遍的な(敵の知らない)バックドア検出は不可能であることを示す。
我々はこの定義を,分布外検出問題のほぼ正解(PAC)学習可能性に結びつける。
- 参考スコア(独自算出の注目度): 16.980855241982187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a formal statistical definition for the problem of backdoor
detection in machine learning systems and use it to analyze the feasibility of
such problems, providing evidence for the utility and applicability of our
definition. The main contributions of this work are an impossibility result and
an achievability result for backdoor detection. We show a no-free-lunch
theorem, proving that universal (adversary-unaware) backdoor detection is
impossible, except for very small alphabet sizes. Thus, we argue, that backdoor
detection methods need to be either explicitly, or implicitly adversary-aware.
However, our work does not imply that backdoor detection cannot work in
specific scenarios, as evidenced by successful backdoor detection methods in
the scientific literature. Furthermore, we connect our definition to the
probably approximately correct (PAC) learnability of the out-of-distribution
detection problem.
- Abstract(参考訳): 本稿では,機械学習システムにおけるバックドア検出問題に対する形式的統計的定義を導入し,その実現可能性を分析し,その有用性と適用性を示す証拠を提供する。
この研究の主な貢献は、バックドア検出のための不可能性と達成可能性の結果である。
我々は、非常に小さなアルファベットサイズを除いて、普遍的な(敵対的でない)バックドア検出が不可能であることを証明し、無自由lunch定理を示す。
したがって、バックドア検出手法は明示的に、あるいは暗黙的に敵対的に認識する必要がある。
しかし,本研究は,バックドア検出法が科学的文献で成功した証拠として,特定のシナリオにおいてバックドア検出が機能しないことを示唆するものではない。
さらに,我々の定義を,分布外検出問題のほぼ正解(PAC)学習可能性に結びつける。
関連論文リスト
- Model Pairing Using Embedding Translation for Backdoor Attack Detection
on Open-Set Classification Tasks [51.78558228584093]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
両モデルがバックドアされている場合でも,バックドアが検出可能であることを示す。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。
具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。
機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文 参考訳(メタデータ) (2023-05-03T20:31:13Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - Understanding Impacts of Task Similarity on Backdoor Attack and
Detection [17.5277044179396]
我々は,マルチタスク学習における類似度指標を用いて,メインタスクとバックドアタスク間のバックドア距離(類似度)を定義する。
すると私たちは、既存のステルスなバックドア攻撃を分析し、そのほとんどはバックドア距離を効果的に減らすことができないことを明らかにしました。
次に,TSA攻撃と呼ばれる新しい手法を設計し,所定の距離制約の下でバックドアモデルを自動的に生成する。
論文 参考訳(メタデータ) (2022-10-12T18:07:39Z) - An anomaly detection approach for backdoored neural networks: face
recognition as a case study [77.92020418343022]
本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。
バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
論文 参考訳(メタデータ) (2022-08-22T12:14:13Z) - Planting Undetectable Backdoors in Machine Learning Models [17.494133972292403]
悪意ある学習者が検出不能なバックドアを分類器に組み込む方法を示す。
適切な"バックドアキー"がなければ、そのメカニズムは隠され、計算に拘束されたオブザーバによって検出できない。
検出不能なバックドアを植え付けるための2つのフレームワークを示す。
論文 参考訳(メタデータ) (2022-04-14T13:55:21Z) - AEVA: Black-box Backdoor Detection Using Adversarial Extreme Value
Analysis [23.184335982913325]
ブラックボックスのハードラベルバックドア検出問題に対処する。
本研究では, バックドア検出の目的は, 逆方向の目的によって拘束されていることを示す。
ブラックボックスニューラルネットワークのバックドア検出のための対向的極値解析を提案する。
論文 参考訳(メタデータ) (2021-10-28T04:36:48Z) - Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word
Substitution [57.51117978504175]
最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。
バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。
単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
論文 参考訳(メタデータ) (2021-06-11T13:03:17Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T12:06:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。