論文の概要: Rethinking Backdoor Detection Evaluation for Language Models

• arxiv url: http://arxiv.org/abs/2409.00399v1
• Date: Sat, 31 Aug 2024 09:19:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 15:08:42.460941
• Title: Rethinking Backdoor Detection Evaluation for Language Models
• Title（参考訳）: 言語モデルにおけるバックドア検出評価の再考
• Authors: Jun Yan, Wenjie Jacky Mo, Xiang Ren, Robin Jia,
• Abstract要約: バックドア攻撃は、公開された言語モデルに依存する実践者にとって大きなセキュリティリスクをもたらす。 バックドア検出方法は、リリースされたモデルにバックドアが含まれているかどうかを検出することを目的としている。 既存のバックドア検出手法は標準ベンチマークでバックドアモデルを検出するのに高い精度を持っているが、野生のバックドアを堅牢に識別できるかどうかは不明である。
• 参考スコア（独自算出の注目度）: 45.34806299803778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backdoor attacks, in which a model behaves maliciously when given an attacker-specified trigger, pose a major security risk for practitioners who depend on publicly released language models. Backdoor detection methods aim to detect whether a released model contains a backdoor, so that practitioners can avoid such vulnerabilities. While existing backdoor detection methods have high accuracy in detecting backdoored models on standard benchmarks, it is unclear whether they can robustly identify backdoors in the wild. In this paper, we examine the robustness of backdoor detectors by manipulating different factors during backdoor planting. We find that the success of existing methods highly depends on how intensely the model is trained on poisoned data during backdoor planting. Specifically, backdoors planted with either more aggressive or more conservative training are significantly more difficult to detect than the default ones. Our results highlight a lack of robustness of existing backdoor detectors and the limitations in current benchmark construction.
• Abstract（参考訳）: 攻撃者が特定したトリガーを与えられた場合、モデルが悪意を持って振る舞うバックドア攻撃は、一般公開された言語モデルに依存する実践者にとって大きなセキュリティリスクをもたらす。 バックドア検出方法は、リリースされたモデルにバックドアが含まれているかどうかを検出することを目的としている。 既存のバックドア検出手法は標準ベンチマークでバックドアモデルを検出するのに高い精度を持っているが、野生のバックドアを堅牢に識別できるかどうかは不明である。 本稿では, バックドア植込み時の異なる要因を操作することで, バックドア検出器のロバスト性について検討する。 既存の手法の成功は、バックドア植え付け中の有毒なデータに基づいて、モデルがどれだけ激しく訓練されているかに大きく依存している。 具体的には、より攻撃的またはより保守的なトレーニングで植えられたバックドアは、デフォルトのものよりもはるかに検出が難しい。 本結果は,既存のバックドア検出器の堅牢性の欠如と,現在のベンチマーク構築の限界を浮き彫りにしたものである。

関連論文リスト

• Towards Robust Object Detection: Identifying and Removing Backdoors via Module Inconsistency Analysis [5.8634235309501435]
  オブジェクト検出モデルに適したバックドアディフェンスフレームワークを提案する。 不整合を定量化し解析することにより、バックドアを検出するアルゴリズムを開発する。 最先端の2段階物体検出器を用いた実験により, バックドア除去率の90%向上が得られた。
  論文  参考訳（メタデータ） (2024-09-24T12:58:35Z)
• Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
  バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。 このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。 この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
  論文  参考訳（メタデータ） (2024-02-28T21:29:16Z)
• BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input Detection [42.021282816470794]
  我々は,Deep Neural Networks(DNN)に対するバックドア攻撃に対する新しい防御法を提案する。 私たちの防衛は、モデルの生成方法とは独立して機能する開発後防衛のカテゴリに分類されます。 モデル推論におけるバックドア入力をフィルタリングする高精度なバックドア入力検出装置の実現可能性を示す。
  論文  参考訳（メタデータ） (2023-08-23T21:47:06Z)
• Universal Soldier: Using Universal Adversarial Perturbations for Detecting Backdoor Attacks [15.917794562400449]
  ディープラーニングモデルは、バックドアデータによるトレーニングや、内部ネットワークパラメータの変更によって悪用される。 引き金について事前に知ることなく、クリーンモデルとバックドアモデルとを区別することは困難である。 UAPによるバックドア検出(USB)とリバースエンジニアリング潜在的なバックドアトリガのためのUniversal Soldierという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-01T20:47:58Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Confidence Matters: Inspecting Backdoors in Deep Neural Networks via Distribution Transfer [27.631616436623588]
  本稿では,新しい観測結果を基にしたバックドアディフェンスDTInspectorを提案する。 DTInspectorは、ほとんどの高信頼データの予測を変える可能性のあるパッチを学び、それからバックドアの存在を決定する。
  論文  参考訳（メタデータ） (2022-08-13T08:16:28Z)
• Check Your Other Door! Establishing Backdoor Attacks in the Frequency Domain [80.24811082454367]
  検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。 また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
  論文  参考訳（メタデータ） (2021-09-12T12:44:52Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Backdoor Learning: A Survey [75.59571756777342]
  バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む バックドア学習は、急速に成長する研究分野である。 本稿では,この領域を包括的に調査する。
  論文  参考訳（メタデータ） (2020-07-17T04:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。