論文の概要: Soft Instruction De-escalation Defense

• arxiv url: http://arxiv.org/abs/2510.21057v1
• Date: Fri, 24 Oct 2025 00:04:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.342643
• Title: Soft Instruction De-escalation Defense
• Title（参考訳）: ソフトインストラクションデエスカレーションディフェンス
• Authors: Nils Philipp Walter, Chawin Sitawarin, Jamie Hayes, David Stutz, Ilia Shumailov,
• Abstract要約: 大規模言語モデル(LLM)は、ますます外部環境と相互作用するエージェントシステムにデプロイされている。 これにより、信頼できないデータを扱う際に、インジェクションをインジェクションすることが可能になる。 ツール拡張LDMエージェント用に設計された簡易かつ効果的な反復的プロンプト衛生ループSICを提案する。
• 参考スコア（独自算出の注目度）: 36.36851291734834
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in agentic systems that interact with an external environment; this makes them susceptible to prompt injections when dealing with untrusted data. To overcome this limitation, we propose SIC (Soft Instruction Control)-a simple yet effective iterative prompt sanitization loop designed for tool-augmented LLM agents. Our method repeatedly inspects incoming data for instructions that could compromise agent behavior. If such content is found, the malicious content is rewritten, masked, or removed, and the result is re-evaluated. The process continues until the input is clean or a maximum iteration limit is reached; if imperative instruction-like content remains, the agent halts to ensure security. By allowing multiple passes, our approach acknowledges that individual rewrites may fail but enables the system to catch and correct missed injections in later steps. Although immediately useful, worst-case analysis shows that SIC is not infallible; strong adversary can still get a 15% ASR by embedding non-imperative workflows. This nonetheless raises the bar.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、ますます外部環境と相互作用するエージェントシステムにデプロイされている。 この制限を克服するために,ツール拡張LDMエージェント用に設計された簡易かつ効果的な反復的プロンプト衛生ループSICを提案する。 本手法は,エージェントの動作を損なう可能性のある命令に対して,入ってくるデータを繰り返し検査する。 このようなコンテンツが見つかると、悪意のあるコンテンツは書き直され、マスクされ、削除され、その結果が再評価される。 プロセスは入力がクリーンになるまで継続するか、最大イテレーション制限に達する。命令のようなコンテンツが残っている場合、エージェントはセキュリティを確保するために停止する。 複数のパスを許可することで、個々のリライトが失敗する可能性があるが、システムが後続のステップでミスインジェクションをキャッチして修正できるようにする。 最悪のケース分析では、SICは失敗しないが、強い敵は、非命令的ワークフローを埋め込むことで、15%のASRを得ることができる。 それにもかかわらず、バーは上昇する。

関連論文リスト

• CommandSans: Securing AI Agents with Surgical Precision Prompt Sanitization [17.941502260254673]
  本稿では,データに実行可能命令を含まないという,コンピュータセキュリティの基本原理に着想を得た新しいアプローチを提案する。 サンプルレベルの分類の代わりに,ツール出力からAIシステムに指示された指示を外科的に除去するトークンレベルの衛生プロセスを提案する。 このアプローチは非ブロッキングであり、キャリブレーションを必要とせず、ツール出力のコンテキストに依存しない。
  論文  参考訳（メタデータ） (2025-10-09T21:32:02Z)
• Better Privilege Separation for Agents by Restricting Data Types [6.028799607869068]
  大規模言語モデル(LLM)のタイプ指向特権分離を提案する。 我々は、信頼できないコンテンツをキュレートされたデータ型に変換することによって、LDMがサードパーティのデータと対話する能力を制限する。 生文字列とは異なり、各データ型はスコープとコンテントに制限されており、プロンプトインジェクションの可能性を排除している。
  論文  参考訳（メタデータ） (2025-09-30T08:20:50Z)
• Unintended Misalignment from Agentic Fine-Tuning: Risks and Mitigation [19.30407680164485]
  エージェントタスクを実行するための微調整された大規模言語モデル(LLM)は、有害なタスクを実行する可能性が高くなる可能性がある。 プリフィックスインジェクションガード(PING)は、エージェント応答に自動的に生成された自然言語プレフィックスをプリペンドする。 Pingは、Webナビゲーションとコード生成タスクの両方において、さまざまなベンチマークで既存のプロンプトアプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-19T17:53:35Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)
• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• A Practical Memory Injection Attack against LLM Agents [49.01756339657071]
  MINJAは、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入することができる。 MINJAは、任意のユーザがエージェントメモリに影響を与え、LLMエージェントの実践的なリスクを強調します。
  論文  参考訳（メタデータ） (2025-03-05T17:53:24Z)
• Towards Action Hijacking of Large Language Model-based Agent [23.13653350521422]
  LLMベースのアプリケーションのアクションプランを操作するための新しい攻撃であるAI$mathbf2$を紹介する。 まず、被害者のアプリケーションからアクション認識の知識を収集する。 このような知識に基づいて、攻撃者は誤解を招く入力を生成することができ、LLMを誤解して有害なアクションプランを生成することができる。
  論文  参考訳（メタデータ） (2024-12-14T12:11:26Z)
• SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
  敵のプロンプトは外部のデータソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。 我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。 本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を10%に下げる。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。