論文の概要: LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense

• arxiv url: http://arxiv.org/abs/2610.11634v1
• Date: Thu, 08 Oct 2026 10:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.943936
• Title: LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense
• Title（参考訳）: LTBD: プロンプト・インジェクション・ディフェンスのための学習可能な信頼境界ディミッタ
• Abstract要約: 大型言語モデル(LLM)は、インジェクション攻撃に非常に脆弱である。 本稿では,入力の信頼境界を明示的に符号化する軽量ディフェンスであるLearnerable Trust-Boundary Deimiters(LTBD)を紹介する。
• 参考スコア（独自算出の注目度）: 22.315953445416636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) perform remarkably well on complex tasks, yet remain highly vulnerable to prompt injection attacks, where malicious instructions embedded in external data can override user intent. Existing defenses remain limited by model fine-tuning requirements, vulnerability to adaptive attacks, or reliance on brittle handcrafted prompts. We argue that a fundamental source of this vulnerability is the lack of an explicit representation of trust provenance. To address this, we introduce Learnable Trust-Boundary Delimiters (LTBD), a lightweight defense that explicitly encodes trust boundaries in the input while keeping the LLM parameters unchanged. LTBD uses a small number of learnable delimiters to distinguish trusted user instructions from untrusted external data, enabling the model to better respect the intended trust hierarchy. Experimental results show that LTBD substantially outperforms inference-time defenses and performs competitively with training-based approaches, while preserving benign-task utility and introducing negligible inference overhead. In particular, LTBD achieves 0.00% ASR on AlpacaFarm and only 0.11-0.19% ASR on TaskTracker. LTBD also remains effective under adaptive attacks, where adversaries have full knowledge of the defense and explicitly attempt to bypass it.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は複雑なタスクでは極めてよく機能するが、外部データに埋め込まれた悪意のある命令がユーザの意図を覆すような、インジェクション攻撃に対して非常に脆弱である。 既存の防御は、モデルの微調整要件、適応攻撃に対する脆弱性、不安定な手作りプロンプトへの依存によって制限されている。 この脆弱性の根本的な原因は、信頼の証明の明示的な表現の欠如である、と我々は主張する。 この問題を解決するために,Learnerable Trust-Boundary Deimiters (LTBD) を導入する。 LTBDは少数の学習可能なデリミタを使用して、信頼できない外部データと信頼できないユーザ命令を区別し、モデルが意図した信頼階層をより尊重することを可能にする。 実験結果から, LTBDは予測時防御を著しく上回り, トレーニングベースアプローチと競合し, 良質なタスクユーティリティを保ち, 無視可能な推論オーバーヘッドを導入していることがわかった。 特に、TBDはAlpacaFarmで0.00%、TaskTrackerで0.11-0.19%のASRを達成した。 LTBDはアダプティブアタックでも有効であり、敵は防御について十分な知識を持ち、明示的に回避しようとする。

関連論文リスト

• Self-Reflection Fine-Tuning: Enhancing Agent Security against Prompt Injection Attacks from Failure Experience [83.9792313419956]
  Self-Reflection Fine-Tuning(SRFT)は、エージェントが自身の障害経験から学習することで堅牢性を向上させるためのトレーニングフレームワークである。 我々はこのフレームワークをLlama-3.1-8B-InstructとQwen3-8B上に構築したSR-Agentでインスタンス化し、静的および適応的なプロンプトインジェクションベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-10-03T03:45:44Z)
• Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference [5.218013327284395]
  協調的なエッジクラウド推論により、リソース制約のあるデバイスは、クラウドサーバに部分計算をオフロードすることで、大きな言語モデル(LLM)を活用することができる。 中間的アクティベーションの送信は、インバージョンアタックを誘導する機密性の高いユーザープロンプトを公開する。 協調LLM推論におけるインバージョンを迅速に行うための情報理論防衛フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T02:36:26Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• Zero-Sacrifice Persistent-Robustness Adversarial Defense for Pre-Trained Encoders [5.00483763729881]
  ZePAD(Zero-Sacrifice Persistent-Robustness Adversarial Defense)を紹介する。 ZePADは、データ特性に対するニューラルネットワーク固有の感度にインスパイアされている。 敵の抵抗を強化するために2つの敵の微調整エンコーダを使用する。
  論文  参考訳（メタデータ） (2026-02-10T07:41:34Z)
• Mitigating Jailbreaks with Intent-Aware LLMs [42.48292327349576]
  大規模言語モデル (LLMs) は、反対に作られた命令によってジェイルブレイク攻撃に弱いままである。 Intent-FTはシンプルで軽量な微調整手法で、LLMに応答する前に命令の基本的な意図を推測するように明示的に訓練する。 実証的には、Intent-FTは評価されたすべての攻撃カテゴリを一貫して緩和し、単一の攻撃が50%の成功率を超えない。
  論文  参考訳（メタデータ） (2025-08-16T15:03:33Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• Learning to Poison Large Language Models for Downstream Manipulation [12.521338629194503]
  この研究は、教師付き微調整プロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。