Fugu-MT 論文翻訳(概要): "That Is a Suspicious Reaction!": Interpreting Logits Variation to Detect NLP Adversarial Attacks

論文の概要: "That Is a Suspicious Reaction!": Interpreting Logits Variation to Detect NLP Adversarial Attacks

arxiv url: http://arxiv.org/abs/2204.04636v1
Date: Sun, 10 Apr 2022 09:24:41 GMT
ステータス: 処理完了
システム内更新日: 2022-04-14 09:36:48.310285
Title: "That Is a Suspicious Reaction!": Interpreting Logits Variation to Detect NLP Adversarial Attacks
Title（参考訳）: 「これは疑わしい反応です!」:nlp攻撃を検出するためにlogitsのバリエーションを解釈する
Authors: Edoardo Mosca and Shreyash Agarwal and Javier Rando-Ramirez and Georg Groh
Abstract要約: 敵攻撃は、現在の機械学習研究で直面する大きな課題である。本研究は, 逆文例のモデルに依存しない検出法を提案する。
参考スコア（独自算出の注目度）: 0.2999888908665659
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Adversarial attacks are a major challenge faced by current machine learning research. These purposely crafted inputs fool even the most advanced models, precluding their deployment in safety-critical applications. Extensive research in computer vision has been carried to develop reliable defense strategies. However, the same issue remains less explored in natural language processing. Our work presents a model-agnostic detector of adversarial text examples. The approach identifies patterns in the logits of the target classifier when perturbing the input text. The proposed detector improves the current state-of-the-art performance in recognizing adversarial inputs and exhibits strong generalization capabilities across different NLP models, datasets, and word-level attacks.
Abstract（参考訳）: 敵攻撃は、現在の機械学習研究で直面する大きな課題である。これらの目的に作られた入力は、安全クリティカルなアプリケーションへのデプロイを前に、最も先進的なモデルでさえも愚かである。コンピュータビジョンの広範な研究は、信頼できる防衛戦略を開発するために行われている。しかし、同じ問題が自然言語処理では研究されていない。本研究は,逆行文例のモデル非依存検出法を提案する。このアプローチは、入力テキストを摂動する際にターゲット分類器のロジット内のパターンを識別する。提案した検出器は、対向入力を認識する際の現在の最先端性能を改善し、異なるNLPモデル、データセット、ワードレベルの攻撃に対して強力な一般化能力を示す。

関連論文リスト

MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
論文参考訳（メタデータ） (2024-06-13T15:55:04Z)
Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack [24.954755569786396]
そこで本研究では,機械生成コンテンツの小さな摂動を回避して検出を回避すべく,より広いレベルの敵攻撃のためのフレームワークを提案する。我々は、ホワイトボックスとブラックボックスの2つの攻撃設定を検討し、現在の検出モデルのロバスト性を高める可能性を評価するために、動的シナリオにおける逆学習を採用する。実験の結果、現在の検出モデルは10秒で妥協でき、機械が生成したテキストを人間の書き起こしコンテンツとして誤分類する結果となった。
論文参考訳（メタデータ） (2024-04-02T12:49:22Z)
Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
論文参考訳（メタデータ） (2023-11-20T03:17:21Z)
ParaFuzz: An Interpretability-Driven Technique for Detecting Poisoned Samples in NLP [29.375957205348115]
本稿では,モデル予測の解釈可能性に着目した,革新的な試験時間有毒サンプル検出フレームワークを提案する。我々は、最先端の大規模言語モデルであるChatGPTをパラフレーズとして使用し、迅速なエンジニアリング問題としてトリガー除去タスクを定式化する。
論文参考訳（メタデータ） (2023-08-04T03:48:28Z)
TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification [6.781100829062443]
敵攻撃は、安全クリティカルなアプリケーションへのモデルのデプロイを妨げる、NLPのニューラルネットワークモデルにとって大きな課題となる。従来の検出方法は、相手文に対して正しい予測を与えることができない。本稿では,入力文が逆であるか否かを効果的に検出できる唾液度に基づく検出器を提案する。
論文参考訳（メタデータ） (2023-02-03T22:58:07Z)
Residue-Based Natural Language Adversarial Attack Detection [1.4213973379473654]
本研究は、逆例を識別する「レジデント」に基づく簡易な文埋め込み型検出器を提案する。多くのタスクにおいて、移植された画像ドメイン検出器と、最先端のNLP特定検出器の状態を上回ります。
論文参考訳（メタデータ） (2022-04-17T17:47:47Z)
Learning-based Hybrid Local Search for the Hard-label Textual Attack [53.92227690452377]
我々は,攻撃者が予測ラベルにのみアクセス可能な,滅多に調査されていないが厳格な設定,すなわちハードラベル攻撃を考える。そこで本研究では,Learning-based Hybrid Local Search (LHLS)アルゴリズムという,新たなハードラベル攻撃を提案する。我々のLHLSは、攻撃性能と敵の品質に関する既存のハードラベル攻撃を著しく上回っている。
論文参考訳（メタデータ） (2022-01-20T14:16:07Z)
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文参考訳（メタデータ） (2021-11-04T12:59:55Z)
Adversarially Robust One-class Novelty Detection [83.1570537254877]
既存のノベルティ検出器は敵の例に感受性があることが示される。本稿では, 新規性検知器の潜伏空間を制御し, 敵に対する堅牢性を向上する防衛戦略を提案する。
論文参考訳（メタデータ） (2021-08-25T10:41:29Z)
Exploiting Multi-Object Relationships for Detecting Adversarial Attacks in Complex Scenes [51.65308857232767]
ディープニューラルネットワーク(DNN)をデプロイするビジョンシステムは、敵の例に弱いことが知られている。近年の研究では、入力データの固有成分のチェックは、敵攻撃を検出するための有望な方法であることが示された。言語モデルを用いてコンテキスト整合性チェックを行う新しい手法を開発した。
論文参考訳（メタデータ） (2021-08-19T00:52:10Z)
Universal Adversarial Attacks with Natural Triggers for Text Classification [30.74579821832117]
我々は、自然の英語のフレーズに近づきながら、分類システムを混乱させる敵攻撃を開発する。我々の攻撃は、従来のモデルよりも識別が困難でありながら、分類タスクのモデル精度を効果的に低下させる。
論文参考訳（メタデータ） (2020-05-01T01:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。