論文の概要: Exploring Gradient-Guided Masked Language Model to Detect Textual Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2504.08798v1
• Date: Tue, 08 Apr 2025 14:10:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:56:04.329955
• Title: Exploring Gradient-Guided Masked Language Model to Detect Textual Adversarial Attacks
• Title（参考訳）: テキスト・アタック検出のためのグラディエント・ガイド付きマスケッド言語モデルの検討
• Authors: Xiaomei Zhang, Zhaoxi Zhang, Yanjun Zhang, Xufei Zheng, Leo Yu Zhang, Shengshan Hu, Shirui Pan,
• Abstract要約: 敵対的な例は 自然言語処理システムに深刻な脅威をもたらします 近年の研究では、対角的テキストは通常のテキストの多様体から逸脱していることが示唆されているが、マスク付き言語モデルは正規データの多様体を近似することができる。 まず、マスク付き言語モデリング(MLM)の目的のマスクアンマスク操作を活用するMLMD(Masked Language Model-based Detection)を導入する。
• 参考スコア（独自算出の注目度）: 50.53590930588431
• License:
• Abstract: Textual adversarial examples pose serious threats to the reliability of natural language processing systems. Recent studies suggest that adversarial examples tend to deviate from the underlying manifold of normal texts, whereas pre-trained masked language models can approximate the manifold of normal data. These findings inspire the exploration of masked language models for detecting textual adversarial attacks. We first introduce Masked Language Model-based Detection (MLMD), leveraging the mask and unmask operations of the masked language modeling (MLM) objective to induce the difference in manifold changes between normal and adversarial texts. Although MLMD achieves competitive detection performance, its exhaustive one-by-one masking strategy introduces significant computational overhead. Our posterior analysis reveals that a significant number of non-keywords in the input are not important for detection but consume resources. Building on this, we introduce Gradient-guided MLMD (GradMLMD), which leverages gradient information to identify and skip non-keywords during detection, significantly reducing resource consumption without compromising detection performance.
• Abstract（参考訳）: テキストの敵対的な例は、自然言語処理システムの信頼性に深刻な脅威をもたらす。 近年の研究では、逆例は通常のテキストの基本多様体から逸脱する傾向にあり、一方、事前学習されたマスキング言語モデルは正規データの多様体を近似することができることが示唆されている。 これらの発見は、テキストの敵対的攻撃を検出するために、マスク付き言語モデルの探索を促した。 まず、マスク付き言語モデリング(MLM)の対象のマスクとアンマスク操作を利用して、正規テキストと逆テキストの多様体変化の差を誘発するマスケッド言語モデル検出(MLMD)を提案する。 MLMDは、競合検出性能を実現するが、その徹底的な1対1マスキング戦略は、計算オーバーヘッドを大幅に引き起こす。 後部分析の結果,入力中の非キーワードは検出には重要ではなく,資源を消費することがわかった。 そこで我々は,Gradient-Guided MLMD (GradMLMD)を導入し,検出中に非キーワードを識別・スキップするために勾配情報を活用することで,検出性能を損なうことなく,資源消費を大幅に削減する。

関連論文リスト

• Palisade -- Prompt Injection Detection Framework [0.9620910657090188]
  大規模言語モデルは、悪意のあるインジェクション攻撃に対して脆弱である。 本稿では,新しいNLPを用いたインジェクション検出手法を提案する。 階層化された入力スクリーニングプロセスを通じて精度と最適化を強調する。
  論文  参考訳（メタデータ） (2024-10-28T15:47:03Z)
• ForgeryGPT: Multimodal Large Language Model For Explainable Image Forgery Detection and Localization [49.12958154544838]
  ForgeryGPTはImage Forgery DetectionとLocalizationタスクを進化させる新しいフレームワークである。 多様な言語的特徴空間からの偽画像の高次相関をキャプチャする。 新たにカスタマイズされたLarge Language Model (LLM)アーキテクチャを通じて、説明可能な生成と対話を可能にする。
  論文  参考訳（メタデータ） (2024-10-14T07:56:51Z)
• Improving Pre-trained Language Model Sensitivity via Mask Specific losses: A case study on Biomedical NER [21.560012335091287]
  マスク特化言語モデリング(英語: Mask Specific Language Modeling、MSLM)は、ターゲットドメインの知識を効率的に取得する手法である。 MSLMはDS-termsとジェネリックワードを共同でマスクし、マスク固有の損失を学習する。 分析の結果,MSLMはDS項の感度と検出を改善した。
  論文  参考訳（メタデータ） (2024-03-26T18:23:16Z)
• SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection with Multimodal Large Language Models [63.946809247201905]
  フェーススプーフィングと偽造検出におけるMLLMの能力を評価するための新しいベンチマーク、ShielDを導入する。 我々は、これらの2つの顔セキュリティタスクにおいて、マルチモーダル顔データを評価するために、真/偽/複数選択の質問を設計する。 その結果,MLLMは顔セキュリティ領域において大きな可能性を秘めていることがわかった。
  論文  参考訳（メタデータ） (2024-02-06T17:31:36Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Masked Language Model Based Textual Adversarial Example Detection [14.734863175424797]
  アドリアックは、安全クリティカルなアプリケーションにおける機械学習モデルの信頼性の高いデプロイに対する深刻な脅威である。 本稿では,MLMD(Masked Model-based Detection)という新たなテキスト対逆例検出手法を提案する。
  論文  参考訳（メタデータ） (2023-04-18T06:52:14Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• "That Is a Suspicious Reaction!": Interpreting Logits Variation to Detect NLP Adversarial Attacks [0.2999888908665659]
  敵攻撃は、現在の機械学習研究で直面する大きな課題である。 本研究は, 逆文例のモデルに依存しない検出法を提案する。
  論文  参考訳（メタデータ） (2022-04-10T09:24:41Z)
• On the Inductive Bias of Masked Language Modeling: From Statistical to Syntactic Dependencies [8.370942516424817]
  教師なしの方法でトークンをマスキングし予測することは、言語構造と下流のパフォーマンス向上をもたらす。 最近の理論では、予め訓練された言語モデルは、暗黙的にクローゼ還元として機能するマスクを介して有用な誘導バイアスを獲得することを示唆している。 本研究では,このようなクローゼのようなマスクだけでは,ランダムマスキング戦略の成功を説明できないことを示す。
  論文  参考訳（メタデータ） (2021-04-12T17:55:27Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。