論文の概要: Defense Against Indirect Prompt Injection via Tool Result Parsing

• arxiv url: http://arxiv.org/abs/2601.04795v1
• Date: Thu, 08 Jan 2026 10:21:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.156073
• Title: Defense Against Indirect Prompt Injection via Tool Result Parsing
• Title（参考訳）: ツールによる間接プロンプト注入に対する防御
• Authors: Qiang Yu, Xinran Cheng, Chuanyi Liu,
• Abstract要約: LLMエージェントは間接的なプロンプトインジェクションからエスカレートする脅威に直面している。 この脆弱性は、エージェントが物理的な環境をより直接的に制御するようになると、重大なリスクをもたらす。 そこで本稿では,LLMに対してツール解析による正確なデータを提供するとともに,注入された悪意のあるコードを効果的にフィルタリングする手法を提案する。
• 参考スコア（独自算出の注目度）: 5.69701430275527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As LLM agents transition from digital assistants to physical controllers in autonomous systems and robotics, they face an escalating threat from indirect prompt injection. By embedding adversarial instructions into the results of tool calls, attackers can hijack the agent's decision-making process to execute unauthorized actions. This vulnerability poses a significant risk as agents gain more direct control over physical environments. Existing defense mechanisms against Indirect Prompt Injection (IPI) generally fall into two categories. The first involves training dedicated detection models; however, this approach entails high computational overhead for both training and inference, and requires frequent updates to keep pace with evolving attack vectors. Alternatively, prompt-based methods leverage the inherent capabilities of LLMs to detect or ignore malicious instructions via prompt engineering. Despite their flexibility, most current prompt-based defenses suffer from high Attack Success Rates (ASR), demonstrating limited robustness against sophisticated injection attacks. In this paper, we propose a novel method that provides LLMs with precise data via tool result parsing while effectively filtering out injected malicious code. Our approach achieves competitive Utility under Attack (UA) while maintaining the lowest Attack Success Rate (ASR) to date, significantly outperforming existing methods. Code is available at GitHub.
• Abstract（参考訳）: LLMエージェントは、デジタルアシスタントから、自律システムやロボティクスの物理コントローラへと移行するにつれて、間接的なプロンプト注入によるエスカレートする脅威に直面している。 ツールコールの結果に敵の命令を埋め込むことで、攻撃者はエージェントの意思決定プロセスをハイジャックして不正なアクションを実行することができる。 この脆弱性は、エージェントが物理的な環境をより直接的に制御するようになると、重大なリスクをもたらす。 Indirect Prompt Injection (IPI) に対する既存の防御機構は、一般的に2つのカテゴリに分類される。 最初は専用の検出モデルをトレーニングするが、このアプローチはトレーニングと推論の両方で高い計算オーバーヘッドを伴い、攻撃ベクトルの進化に合わせて頻繁に更新する必要がある。 あるいは、プロンプトベースの手法は、プロンプトエンジニアリングを通じて悪意のある命令を検知または無視するためにLLMの固有の能力を利用する。 その柔軟性にもかかわらず、現在のプロンプトベースの防御は高い攻撃成功率(ASR)に悩まされており、高度な射出攻撃に対して限られた堅牢性を示している。 本稿では, LLMに対して, インジェクトされた悪意のあるコードを効果的にフィルタリングしながら, ツール結果解析による正確なデータを提供する手法を提案する。 我々のアプローチは、これまでで最も低いアタック成功率(ASR)を維持しながら、競争力のあるアタック・アンダー・アタック(UA)を実現する。 コードはGitHubで入手できる。

関連論文リスト

• CommandSans: Securing AI Agents with Surgical Precision Prompt Sanitization [17.941502260254673]
  本稿では,データに実行可能命令を含まないという,コンピュータセキュリティの基本原理に着想を得た新しいアプローチを提案する。 サンプルレベルの分類の代わりに,ツール出力からAIシステムに指示された指示を外科的に除去するトークンレベルの衛生プロセスを提案する。 このアプローチは非ブロッキングであり、キャリブレーションを必要とせず、ツール出力のコンテキストに依存しない。
  論文  参考訳（メタデータ） (2025-10-09T21:32:02Z)
• Adversarial Reinforcement Learning for Large Language Model Agent Safety [20.704989548285372]
  大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。 現在の防衛戦略は、既知の攻撃のデータセットに精巧なLLMエージェントを頼っている。 対戦型強化学習(RL)を両プレイヤーゼロサムゲームとして定式化して活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。
  論文  参考訳（メタデータ） (2025-10-06T23:09:18Z)
• Backdoor-Powered Prompt Injection Attacks Nullify Defense Methods [95.54363609024847]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本稿では,即時噴射防御法を無効化するより悪質な攻撃について検討する。 バックドアによるプロンプトインジェクション攻撃は、以前のプロンプトインジェクション攻撃よりも有害である。
  論文  参考訳（メタデータ） (2025-10-04T07:11:11Z)
• IPIGuard: A Novel Tool Dependency Graph-Based Defense Against Indirect Prompt Injection in LLM Agents [33.775221377823925]
  大規模言語モデル(LLM)エージェントは現実世界のアプリケーションに広くデプロイされており、複雑なタスクのために外部データを検索し操作するためのツールを活用している。 信頼できないデータソースと対話する場合、ツールレスポンスには、エージェントの動作に秘密裏に影響を与え、悪意のある結果をもたらすインジェクションが含まれている可能性がある。 我々はIPIGuardと呼ばれる新しい防御タスク実行パラダイムを提案し、ソースにおける悪意あるツール呼び出しを防止する。
  論文  参考訳（メタデータ） (2025-08-21T07:08:16Z)
• TopicAttack: An Indirect Prompt Injection Attack via Topic Transition [92.26240528996443]
  大規模言語モデル(LLM)は間接的なインジェクション攻撃に対して脆弱である。 提案するTopicAttackは,LLMに生成した遷移プロンプトを生成し,徐々にトピックをインジェクション命令にシフトさせる。 提案手法は, インジェクトからオリジナルへのアテンション比が高く, 成功確率が高く, ベースライン法よりもはるかに高い比を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-07-18T06:23:31Z)
• To Protect the LLM Agent Against the Prompt Injection Attack with Polymorphic Prompt [5.8935359767204805]
  本稿では,ポリモルフィック・プロンプト・アセンブラという,新しい軽量防衛機構を提案する。 アプローチは、インジェクションのインジェクションがシステムプロンプトの構造を推測し、壊す必要があるという洞察に基づいている。 PPAは攻撃者がプロンプト構造を予測するのを防ぎ、性能を損なうことなくセキュリティを向上させる。
  論文  参考訳（メタデータ） (2025-06-06T04:50:57Z)
• Defense Against Prompt Injection Attack by Leveraging Attack Techniques [66.65466992544728]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを実現している。 LLMが進化を続けるにつれて、新しい脆弱性、特にインジェクション攻撃が発生する。 近年の攻撃手法は, LLMの命令追従能力とデータ内容に注入された命令を識別する能力を活用している。
  論文  参考訳（メタデータ） (2024-11-01T09:14:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。