論文の概要: Robust Context-Aware Detection of Malicious Instructions in Text

• arxiv url: http://arxiv.org/abs/2608.05430v1
• Date: Wed, 05 Aug 2026 21:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.667138
• Title: Robust Context-Aware Detection of Malicious Instructions in Text
• Title（参考訳）: テキスト中の悪意的命令のロバスト文脈認識検出
• Abstract要約: この脆弱性に対処する基本的な課題は、与えられたテキストを良質で悪意のある文に分割することに成功していることである。 本稿では,文脈と問合せの両方を意識した悪意のある文分類手法を提案する。 提案手法は静的攻撃下での最先端のIPI防御ベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 22.27527497326564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable instruction-following ability of modern LLMs has enabled their practical use as the minds of agents that can autonomously complete increasingly complex tasks. Therein, however, also lies their vulnerability to attacks which embed malicious instructions in text, common variants of which are known as indirect prompt injection (IPI). A fundamental task in addressing this vulnerability is successful segmentation of a given text into benign and malicious sentences (if any). While a number of approaches for this task have been proposed, no detector combines query-relative detection at the segment level, and none are hardened against adaptive evasion attacks realizable in agentic executions. We address the former limitation by developing an approach for malicious sentence classification that is both context- and query-aware. Next, to harden the resulting classifier against evasion, we present two adversarial training methods. The first is directly adapted feature-space adversarial training (AT) in which evasions are approximated using projected-gradient-based optimization in the embedding space. The second simulates realizable evasion attacks in the AT loop through LLM-based paraphrasing. Crucially, we parametrize both AT variants to facilitate a smooth tradeoff between utility and attack robustness. In extensive experiments using indirect prompt injection benchmarks we show that the proposed approach outperforms state-of-the-art IPI defense baselines under static attacks, while in the case of adaptive attacks, our AT variants provide significantly higher utility, lower attack success rate, and often both. Finally, we show that the best AT parameters can depend intimately on the particular application domain. Consequently, domain-dependent tuning of malicious text detectors is likely necessary in practice. Our code is publicly available at https://github.com/tavia-liu/CAD.
• Abstract（参考訳）: 現代のLLMの卓越した指示追従能力は、ますます複雑なタスクを自律的に完了できるエージェントの心として、彼らの実践的利用を可能にした。 しかし、テキストに悪意のある命令を埋め込む攻撃には、その脆弱性がある。 この脆弱性に対処する基本的なタスクは、与えられたテキストを良質で悪意のある文(もしあれば)に分割することに成功したことです。 このタスクに対する多くのアプローチが提案されているが、セグメンテーションレベルでクエリ相対的な検出を組み合わせる検出器は存在せず、エージェントの実行で実現可能な適応的回避攻撃に対して強化されるものはない。 我々は、文脈と問合せの両方を意識した悪意のある文分類のためのアプローチを開発することで、以前の制限に対処する。 次に,回避防止のための分類器を強化するために,2つの対向訓練方法を提案する。 1つ目は直接適応型特徴空間対向訓練(AT)で、埋め込み空間における射影勾配に基づく最適化を用いて回避を近似する。 2つ目は、LLMベースのパラフレーズによるATループにおける実現可能な回避攻撃をシミュレートする。 重要なことは、実用性と攻撃の堅牢性の間のスムーズなトレードオフを促進するために、AT変異体の両方をパラメトリズする。 間接的インジェクションベンチマークを用いた広範囲な実験では,提案手法は静的攻撃下での最先端のIPI防御ベースラインよりも優れており,適応攻撃の場合,AT変異は有効性が高く,攻撃成功率も低い。 最後に、最適なATパラメータが特定のアプリケーションドメインに依存していることを示す。 したがって、悪意のあるテキスト検出器のドメイン依存チューニングは、実際は必要だろう。 私たちのコードはhttps://github.com/tavia-liu/CADで公開されています。

関連論文リスト

• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Defense Against Indirect Prompt Injection via Tool Result Parsing [5.69701430275527]
  LLMエージェントは間接的なプロンプトインジェクションからエスカレートする脅威に直面している。 この脆弱性は、エージェントが物理的な環境をより直接的に制御するようになると、重大なリスクをもたらす。 そこで本稿では,LLMに対してツール解析による正確なデータを提供するとともに,注入された悪意のあるコードを効果的にフィルタリングする手法を提案する。
  論文  参考訳（メタデータ） (2026-01-08T10:21:56Z)
• PADBen: A Comprehensive Benchmark for Evaluating AI Text Detectors Against Paraphrase Attacks [2.540711742769252]
  そこで本研究では,AIGT識別のために設計された検出システムに対して,繰り返しパラメタしたテキストが回避される理由について検討する。 パラフレーズ攻撃シナリオに対する検出ロバスト性を系統的に評価した最初のベンチマークであるPADBenを紹介する。
  論文  参考訳（メタデータ） (2025-11-01T05:59:46Z)
• Modeling the Attack: Detecting AI-Generated Text by Quantifying Adversarial Perturbations [2.7620215077666557]
  現代の検出器は敵の攻撃に弱いことで知られており、パラフレーズは効果的な回避技術として際立っている。 本稿では,まず,標準的な対人訓練の限界を定量化することにより,対人的堅牢性の比較研究を行う。 次に、新しい、はるかに回復力のある検出フレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-09-22T13:03:53Z)
• PromptSleuth: Detecting Prompt Injection via Semantic Intent Invariance [10.105673138616483]
  大規模言語モデル(LLM)は、仮想アシスタントから自律エージェントに至るまで、現実のアプリケーションにますます統合されている。 攻撃者がパラフレーズ、難読化、マルチタスクのインジェクション戦略で進化するにつれて、既存のベンチマークは、出現する脅威の全スペクトルを捉えるのに十分ではない。 PromptSleuthは,表面的特徴ではなくタスクレベルの意図を推論することで,迅速なインジェクションを検出するセマンティック指向の防衛フレームワークである。
  論文  参考訳（メタデータ） (2025-08-28T15:19:07Z)
• TopicAttack: An Indirect Prompt Injection Attack via Topic Transition [92.26240528996443]
  大規模言語モデル(LLM)は間接的なインジェクション攻撃に対して脆弱である。 提案するTopicAttackは,LLMに生成した遷移プロンプトを生成し,徐々にトピックをインジェクション命令にシフトさせる。 提案手法は, インジェクトからオリジナルへのアテンション比が高く, 成功確率が高く, ベースライン法よりもはるかに高い比を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-07-18T06:23:31Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。