論文の概要: ParaFuzz: An Interpretability-Driven Technique for Detecting Poisoned Samples in NLP

• arxiv url: http://arxiv.org/abs/2308.02122v1
• Date: Fri, 4 Aug 2023 03:48:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 14:04:17.215222
• Title: ParaFuzz: An Interpretability-Driven Technique for Detecting Poisoned Samples in NLP
• Title（参考訳）: ParaFuzz: NLPのポゾンサンプル検出のための解釈可能性駆動技術
• Authors: Lu Yan, Zhuo Zhang, Guanhong Tao, Kaiyuan Zhang, Xuan Chen, Guangyu Shen, Xiangyu Zhang
• Abstract要約: 本稿では,モデル予測の解釈可能性に着目した,革新的な試験時間有毒サンプル検出フレームワークを提案する。 我々は、最先端の大規模言語モデルであるChatGPTをパラフレーズとして使用し、迅速なエンジニアリング問題としてトリガー除去タスクを定式化する。
• 参考スコア（独自算出の注目度）: 16.844692469430534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backdoor attacks have emerged as a prominent threat to natural language processing (NLP) models, where the presence of specific triggers in the input can lead poisoned models to misclassify these inputs to predetermined target classes. Current detection mechanisms are limited by their inability to address more covert backdoor strategies, such as style-based attacks. In this work, we propose an innovative test-time poisoned sample detection framework that hinges on the interpretability of model predictions, grounded in the semantic meaning of inputs. We contend that triggers (e.g., infrequent words) are not supposed to fundamentally alter the underlying semantic meanings of poisoned samples as they want to stay stealthy. Based on this observation, we hypothesize that while the model's predictions for paraphrased clean samples should remain stable, predictions for poisoned samples should revert to their true labels upon the mutations applied to triggers during the paraphrasing process. We employ ChatGPT, a state-of-the-art large language model, as our paraphraser and formulate the trigger-removal task as a prompt engineering problem. We adopt fuzzing, a technique commonly used for unearthing software vulnerabilities, to discover optimal paraphrase prompts that can effectively eliminate triggers while concurrently maintaining input semantics. Experiments on 4 types of backdoor attacks, including the subtle style backdoors, and 4 distinct datasets demonstrate that our approach surpasses baseline methods, including STRIP, RAP, and ONION, in precision and recall.
• Abstract（参考訳）: バックドア攻撃は自然言語処理(NLP)モデルに対する顕著な脅威として現れており、入力に特定のトリガーが存在することは、これらの入力を所定のターゲットクラスに誤分類するために有毒なモデルを引き起こす可能性がある。 現在の検出メカニズムは、スタイルベースの攻撃のような隠れたバックドア戦略に対処できないため、制限されている。 本研究では,入力の意味的意味を基盤としたモデル予測の解釈可能性に基づく,革新的な試験時間有毒サンプル検出フレームワークを提案する。 我々は、トリガー(例:頻度の低い単語)は、ステルス性を保つために、毒性のあるサンプルの基本的な意味を根本的に変えるものではないと主張する。 この観察に基づき、パラフラージングされたクリーンサンプルに対するモデルの予測は安定していなければならないが、汚染されたサンプルの予測は、パラフラージングプロセス中にトリガーに適用される突然変異によって真のラベルに戻るべきであると仮定した。 我々は、最先端の大規模言語モデルであるChatGPTをパラフレーズとして採用し、迅速なエンジニアリング問題としてトリガー除去タスクを定式化する。 我々は、ソフトウェア脆弱性の発見によく使われるファジィングを用いて、入力セマンティクスを同時に維持しながらトリガーを効果的に除去できる最適なパラフレーズプロンプトを発見する。 微妙なスタイルのバックドアを含む4種類のバックドア攻撃の実験と、4つの異なるデータセットにより、我々のアプローチがSTRIP、RAP、ONIONなどのベースラインメソッドを精度とリコールで超越していることが示されている。

関連論文リスト

• A Study of Backdoors in Instruction Fine-tuned Language Models [16.10608633005216]
  バックドアのデータ中毒は、そのような攻撃の回避の性質のために深刻なセキュリティ上の懸念である。 このようなバックドア攻撃は、反応の感情を変えたり、検閲に違反したり、過剰に拒否したり(合法的なクエリの検閲を呼び起こしたり)、偽のコンテンツを注入したり、ナンセンスな反応(幻覚)を引き起こす。
  論文  参考訳（メタデータ） (2024-06-12T00:01:32Z)
• PSBD: Prediction Shift Uncertainty Unlocks Backdoor Detection [57.571451139201855]
  予測シフトバックドア検出(英: Prediction Shift Backdoor Detection、PSBD)は、ディープニューラルネットワークにおけるバックドアサンプルを識別する新しい手法である。 PSBDは興味深い予測シフト(PS)現象によって動機付けられており、クリーンなデータに対する有害なモデルの予測は、しばしば真のラベルから別のラベルへとシフトする。 PSBDは、モデル推論中にドロップアウト層をオン/オフする際の確率値のばらつきである予測シフト不確実性(PSU)を計算することで、バックドアトレーニングサンプルを特定する。
  論文  参考訳（メタデータ） (2024-06-09T15:31:00Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Prompt as Triggers for Backdoor Attack: Examining the Vulnerability in Language Models [41.1058288041033]
  本稿では,プロンプトに基づくクリーンラベルバックドア攻撃の新規かつ効率的な方法であるProAttackを提案する。 本手法では, 外部からのトリガーを必要とせず, 汚染試料の正確なラベル付けを保証し, バックドア攻撃のステルス性を向上させる。
  論文  参考訳（メタデータ） (2023-05-02T06:19:36Z)
• Backdoor Attacks with Input-unique Triggers in NLP [34.98477726215485]
  Backdoor攻撃は、ニューラルネットワークを誘導して毒データに対する誤った予測を行い、クリーンなデータセットの予測を変更せずに維持することを目的としている。 本稿では,入力に固有のバックドアトリガを生成する,入出力型バックドアアタック(NURA)を提案する。
  論文  参考訳（メタデータ） (2023-03-25T01:41:54Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Triggerless Backdoor Attack for NLP Tasks with Clean Labels [31.308324978194637]
  バックドア攻撃で有毒なデータを構築するための標準的な戦略は、選択した文にトリガーを挿入し、元のラベルをターゲットラベルに変更することである。 この戦略は、トリガーとラベルの両方の観点から容易に検出されるという深刻な欠陥を伴っている。 そこで本研究では,外部トリガーを必要としないテキストバックドア攻撃を行う新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-11-15T18:36:25Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• Poisoned classifiers are not only backdoored, they are fundamentally broken [84.67778403778442]
  一般的に研究されている、分類モデルに対するバックドア中毒攻撃の下で、攻撃者はトレーニングデータのサブセットに小さなトリガーを追加する。 毒を盛った分類器は、引き金を持つ敵のみに弱いと推定されることが多い。 本稿では,このバックドア型分類器の考え方が誤りであることを実証的に示す。
  論文  参考訳（メタデータ） (2020-10-18T19:42:44Z)
• Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural Networks [25.23881974235643]
  バックドア攻撃は、引き起こされたサンプルの周りでよりスムーズな決定関数を誘導することを示します。 実験の結果,入力サンプルにトリガーを付加するとスムーズさが増加し,この現象はより成功した攻撃に対してより顕著であることがわかった。
  論文  参考訳（メタデータ） (2020-06-11T18:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。