論文の概要: Exploit Tool Invocation Prompt for Tool Behavior Hijacking in LLM-Based Agentic System

• arxiv url: http://arxiv.org/abs/2509.05755v2
• Date: Mon, 15 Sep 2025 13:11:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 13:19:47.94664
• Title: Exploit Tool Invocation Prompt for Tool Behavior Hijacking in LLM-Based Agentic System
• Title（参考訳）: LLMエージェントシステムにおけるツール動作ハイジャックのためのエクスプロイトツール起動プロンプト
• Authors: Yu Liu, Yuchong Xie, Mingyu Luo, Zesen Liu, Zhixiang Zhang, Kaikai Zhang, Zongjie Li, Ping Chen, Shuai Wang, Dongdong She,
• Abstract要約: LLMベースのエージェントシステムは、大きな言語モデルを利用して、ユーザクエリの処理、決定、複雑なタスクのための外部ツールの実行を行う。 これらのシステムにおいて重要なコンポーネントはツール起動プロンプト(TIP)であり、ツールインタラクションプロトコルを定義し、ツール使用のセキュリティと正しさを保証するためにLLMをガイドする。 本研究では、TIP関連のセキュリティリスクを調査し、主要なLCMベースのシステムがリモートコード実行(RCE)やDoS(DoS)といった攻撃に対して脆弱であることを明らかにする。
• 参考スコア（独自算出の注目度）: 15.189630628711685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based agentic systems leverage large language models to handle user queries, make decisions, and execute external tools for complex tasks across domains like chatbots, customer service, and software engineering. A critical component of these systems is the Tool Invocation Prompt (TIP), which defines tool interaction protocols and guides LLMs to ensure the security and correctness of tool usage. Despite its importance, TIP security has been largely overlooked. This work investigates TIP-related security risks, revealing that major LLM-based systems like Cursor, Claude Code, and others are vulnerable to attacks such as remote code execution (RCE) and denial of service (DoS). Through a systematic TIP exploitation workflow (TEW), we demonstrate external tool behavior hijacking via manipulated tool invocations. We also propose defense mechanisms to enhance TIP security in LLM-based agentic systems.
• Abstract（参考訳）: LLMベースのエージェントシステムは、大きな言語モデルを活用して、ユーザクエリの処理、意思決定、チャットボット、カスタマーサービス、ソフトウェアエンジニアリングといった複雑なタスクのための外部ツールの実行を行う。 これらのシステムにおいて重要なコンポーネントはツール起動プロンプト(TIP)であり、ツールインタラクションプロトコルを定義し、ツール使用のセキュリティと正しさを保証するためにLLMをガイドする。 その重要性にもかかわらず、TIPセキュリティはほとんど見過ごされている。 この研究は、TIP関連のセキュリティリスクを調査し、CursorやClaude CodeといったLLMベースの主要なシステムが、リモートコード実行(RCE)やDoS(DoS)といった攻撃に対して脆弱であることを明らかにする。 システム的TIP活用ワークフロー(TEW)を通じて、操作されたツール呼び出しによる外部ツールの動作ハイジャックを実演する。 LLMベースのエージェントシステムにおけるTIPセキュリティを強化するための防御機構も提案する。

関連論文リスト

• Prompt Injection Attack to Tool Selection in LLM Agents [60.95349602772112]
  一般的なアプローチは、与えられたタスクに対してツールライブラリから最も適切なツールを選択するための2段階のプロセス(式と例選択)に従う。 本研究では、no-boxシナリオにおける新しいプロンプトインジェクション攻撃ツール選択であるtextitToolHijackerを紹介する。
  論文  参考訳（メタデータ） (2025-04-28T13:36:43Z)
• Progent: Programmable Privilege Control for LLM Agents [46.31581986508561]
  本稿では,大規模言語モデルエージェントをセキュアにするための最初の特権制御フレームワークであるProgentを紹介する。 Progentは、潜在的に悪意のあるものをブロックしながら、ユーザタスクに必要なツールコールの実行をエージェントに制限することで、ツールレベルでのセキュリティを強化する。 モジュール設計のおかげで、Progentの統合はエージェント内部を変更せず、既存のエージェントの実装に最小限の変更しか必要としません。
  論文  参考訳（メタデータ） (2025-04-16T01:58:40Z)
• Les Dissonances: Cross-Tool Harvesting and Polluting in Multi-Tool Empowered LLM Agents [15.15485816037418]
  本稿では,マルチツール対応LLMエージェントにおけるタスク制御フローのシステマティックセキュリティ解析について述べる。 複数の攻撃ベクトルを含む新しい脅威であるクロスツールハーベスティングとポリッティング(XTHP)を同定する。 この脅威の影響を理解するために,我々は,XTHP攻撃を受けやすい現実世界のエージェントツールを自動的に検出する動的スキャンツールであるChordを開発した。
  論文  参考訳（メタデータ） (2025-04-04T01:41:06Z)
• Prompt Flow Integrity to Prevent Privilege Escalation in LLM Agents [12.072737324367937]
  大規模言語モデル(LLM)における特権エスカレーションを防止するために,PFI(Prompt Flow Integrity)を提案する。 PFIは、エージェントアイソレーション、セキュアな信頼できないデータ処理、特権エスカレーションガードレールの3つの緩和技術を備えている。 評価の結果, PFI は LLM エージェントの有効性を保ちながら, 特権エスカレーション攻撃を効果的に軽減できることが示唆された。
  論文  参考訳（メタデータ） (2025-03-17T05:27:57Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• From Allies to Adversaries: Manipulating LLM Tool-Calling through Adversarial Injection [11.300387488829035]
  ツールコールは、外部ツールを統合することで、LLM(Large Language Model)アプリケーションを変更した。 本稿では,LDMツールコールシステムの脆弱性を利用した対向型ツールインジェクションによる新しいフレームワークであるToolCommanderを提案する。
  論文  参考訳（メタデータ） (2024-12-13T15:15:24Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents [56.822238860147024]
  大規模な言語モデルを外部ツールで拡張することは、彼らのユーティリティを拡張するための有望なアプローチとして現れました。 以前のメソッドは、ツールドキュメントを手動で解析し、コンテキスト内デモを作成し、ツールをLLMがステップバイステップの推論で使用する構造化フォーマットに変換する。 LLMがツール使用ワークフローを自動化できるフレームワークであるAutoToolsを提案する。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。