論文の概要: Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense

• arxiv url: http://arxiv.org/abs/2606.30783v1
• Date: Mon, 29 Jun 2026 18:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.965293
• Title: Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense
• Title（参考訳）: セキュリティとフィデリティのトレードオフ: プロンプト・インジェクション・ディフェンスの隠れたコスト
• Abstract要約: アタック・サクセス・メトリクスは、注入を無視したモデルを見ることができず、データを同じスコアとして忠実に処理します。 SecFidは、インジェクションを実行し、データとして処理し、区別可能な出力を無視するベンチマークです。
• 参考スコア（独自算出の注目度）: 24.794318726705118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We identify a security-fidelity tradeoff in defending LLMs against indirect prompt injection: defenses resist injected instructions largely by suppressing untrusted text, which corrupts tasks that must preserve it, such as translation and document editing. Attack-success metrics cannot see this, because a model that ignores an injection and one that faithfully processes it as data score identically. We introduce SecFid, a benchmark built so that executing an injection, processing it as data, and ignoring it produce distinguishable outputs. This makes fidelity measurable and exposes a frontier: across 1,168 examples and 48 configurations, no model or defense achieves both objectives. The highest-fidelity model reaches 96.5% fidelity at 47.8% security, while the most secure defenses invert this, at 99.3% security but only 71.0%-73.9% fidelity. Even defenses with identical security differ in how they earn it: some repair hijacks into faithful processing, others simply suppress benign content. A decision-theoretic analysis shows why no fixed choice can be right everywhere: the correct behavior is not a property of the defense but of the deployment, set by its relative cost of a hijack versus a dropped span. Security alone therefore measures only half of robustness, and reporting it without fidelity hides the price at which it was bought.
• Abstract（参考訳）: 我々は, LLMの間接的インジェクションに対する防御において, 信頼できないテキストを抑え, 翻訳や文書編集などのタスクを破損させることによって, 間接的インジェクションに対して防御する上でのセキュリティ・フィデリティのトレードオフを識別する。 インジェクションを無視するモデルと、データを同じスコアとして忠実に処理するモデルです。 SecFidは、インジェクションを実行し、データとして処理し、区別可能な出力を無視するベンチマークです。 これは忠実度を計測し、フロンティアを公開する。1,168の例と48のコンフィギュレーションで、モデルやディフェンスが両方の目的を達成することはない。 最高忠実度モデルは、セキュリティ47.8%で96.5%、セキュリティ99.3%で、セキュリティは71.0%-73.9%でしかない。 同一のセキュリティを持つ防衛も、その収入の仕方に違いがある: 修復用のハイジャックを忠実な処理に組み込んだり、良質なコンテンツを抑制するだけである。 正しい振る舞いは防御の特性ではなく、ハイジャックとドロップスパンの相対コストによって設定されたデプロイメントの特性です。 したがって、セキュリティだけではロバスト性の半分しか測定できず、不確実性のない報告は、購入した価格を隠蔽する。

関連論文リスト

• The Framing Gap: Indirect Prompt-Injection Exfiltration Defeats Surface-Level Defenses in Tool-Using Agents [2.45357121165634]
  攻撃者が制御するWebコンテンツを読み取るツール使用のLLMエージェントは間接的なプロンプトインジェクションである。 10のオーバートインジェクションクラスが拒否される(gpt-4o 0%)が、同じリークを必須整合性シグネチャとして無視する。 アブレーションは、そのメカニズムが命令/データの混乱であり、アライメントを損なわないことを示している。
  論文  参考訳（メタデータ） (2026-08-27T13:12:03Z)
• Fool's Gold: Defensive Deception Against Safety-Removal Attacks on Open-Weight Models [4.1626636325601405]
  我々の防衛はデコイの硬化であり、拒絶の帯を譲り受け、その支払いを毒する。 5つのファミリー(9B-122B、高密度と混合)から7つのモデルでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-17T23:26:32Z)
• Borrowed Strength: Best-of-N Search over a Code EncodingBreaks Self-Check Jailbreak Defenses [7.287314790466206]
  セルフチェックディフェンスは、応答する前に、ターゲットモデルに要求を評価するように要求する。 個々の攻撃に対して無害な2つの攻撃を構成することで、違反する可能性があることを示す。
  論文  参考訳（メタデータ） (2026-07-29T09:01:26Z)
• Defensive Refusal Bias: How Safety Alignment Fails Cyber Defenders [1.038167357593269]
  大きな言語モデル(LLM)における安全性の整合性は、主に誤用を防ぐことに焦点を当てている。 我々は、保護的拒否バイアス(Defensive Refusal Bias)について検討する。安全に配慮したフロンティアのLLMは、認証されたサイバーセキュリティタスクの援助を拒否する傾向にある。 システム硬化(43.8%)とマルウェア分析(34.3%)。
  論文  参考訳（メタデータ） (2026-03-01T19:53:19Z)
• TrapSuffix: Proactive Defense Against Adversarial Suffixes in Jailbreaking [52.72486831074384]
  サフィックスベースのジェイルブレイク攻撃は、敵のサフィックス、すなわち短いトークンシーケンスを付加し、LLMを安全でない出力にステアリングする。 提案するTrapSuffixは,推論パイプラインを変更することなく,トラップアラインな動作をベースモデルに注入する,軽量な微調整手法である。 様々なサフィックスベースのジェイルブレイク設定で、TrapSuffixは平均攻撃成功率を0.01%以下に下げ、平均追跡成功率87.9%を達成する。
  論文  参考訳（メタデータ） (2026-02-06T11:43:56Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• How Secure is Secure Code Generation? Adversarial Prompts Put LLM Defenses to the Test [9.85596630285833]
  本稿では,最先端のセキュアなコード生成手法に関する,最初の体系的な逆監査について述べる。 静的アナライザはセキュリティを7～21回過大評価し,37～60%が非機能である。 これらの知見に基づいて,ロバストなセキュアなコード生成手法の構築と評価のためのベストプラクティスを提案する。
  論文  参考訳（メタデータ） (2026-01-11T22:28:21Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• Breach By A Thousand Leaks: Unsafe Information Leakage in `Safe' AI Responses [42.136793654338106]
  モデル出力の不可避な情報漏洩に基づく新しい安全性評価フレームワークを提案する。 我々は,情報検閲の安全性を確保するために,防衛機構が情報検閲を確実にする必要があることを示す。
  論文  参考訳（メタデータ） (2024-07-02T16:19:25Z)
• Closing the Gap: Achieving Better Accuracy-Robustness Tradeoffs against Query-Based Attacks [1.54994260281059]
  クエリベースの攻撃を緩和する上で、ロバスト性と精度の確固たるトレードオフを、テスト時に効率的に確立する方法を示す。 我々のアプローチは訓練とは無関係であり、理論に支えられている。
  論文  参考訳（メタデータ） (2023-12-15T17:02:19Z)
• FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning [66.56240101249803]
  我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。 本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。 競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
  論文  参考訳（メタデータ） (2022-10-23T22:24:03Z)
• Bayes Security: A Not So Average Metric [20.60340368521067]
  セキュリティシステムのデザイナは、ディファレンシャルプライバシ(DP)から派生したような最悪のセキュリティ指標を好む。 本稿では,暗号の優位性に触発されたセキュリティ指標ベイズセキュリティについて検討する。
  論文  参考訳（メタデータ） (2020-11-06T14:53:45Z)
• Label-Only Membership Inference Attacks [67.46072950620247]
  ラベルのみのメンバシップ推論攻撃を導入する。 我々の攻撃は、摂動下でのモデルが予測するラベルの堅牢性を評価する。 差分プライバシーと(強い)L2正規化を備えたトレーニングモデルは、唯一知られている防衛戦略である。
  論文  参考訳（メタデータ） (2020-07-28T15:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。