論文の概要: Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents

• arxiv url: http://arxiv.org/abs/2508.17155v1
• Date: Sat, 23 Aug 2025 22:41:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.37301
• Title: Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents
• Title（参考訳）: ギャップを意識する: LLM-Enabled Agent における時間-時間-時間-時間-時間的脆弱性
• Authors: Derek Lilienthal, Sanghyun Hong,
• Abstract要約: 大規模言語モデル(LLM)対応エージェントは、広範囲のアプリケーションで急速に出現している。 本研究は,LSM対応エージェントにおけるTOCTOU(time-of-use)脆弱性に関する最初の研究である。 我々は,このタイプの脆弱性を評価するために設計された,66の現実的なユーザタスクを備えたベンチマークTOCTOU-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 4.303444472156151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM)-enabled agents are rapidly emerging across a wide range of applications, but their deployment introduces vulnerabilities with security implications. While prior work has examined prompt-based attacks (e.g., prompt injection) and data-oriented threats (e.g., data exfiltration), time-of-check to time-of-use (TOCTOU) remain largely unexplored in this context. TOCTOU arises when an agent validates external state (e.g., a file or API response) that is later modified before use, enabling practical attacks such as malicious configuration swaps or payload injection. In this work, we present the first study of TOCTOU vulnerabilities in LLM-enabled agents. We introduce TOCTOU-Bench, a benchmark with 66 realistic user tasks designed to evaluate this class of vulnerabilities. As countermeasures, we adapt detection and mitigation techniques from systems security to this setting and propose prompt rewriting, state integrity monitoring, and tool-fusing. Our study highlights challenges unique to agentic workflows, where we achieve up to 25% detection accuracy using automated detection methods, a 3% decrease in vulnerable plan generation, and a 95% reduction in the attack window. When combining all three approaches, we reduce the TOCTOU vulnerabilities from an executed trajectory from 12% to 8%. Our findings open a new research direction at the intersection of AI safety and systems security.
• Abstract（参考訳）: 大規模言語モデル(LLM)対応エージェントは、広範囲のアプリケーションで急速に出現しているが、そのデプロイでは、セキュリティに影響を及ぼす脆弱性が導入されている。 以前の研究では、プロンプトベースの攻撃(例えば、プロンプトインジェクション)とデータ指向の脅威(例えば、データ消去)を調べてきたが、この文脈では、時間と使用時間(TOCTOU)のチェックは明らかにされていない。 TOCTOUは、エージェントが後に使用前に修正される外部状態(ファイルやAPI応答など)を検証することで、悪意のある設定スワップやペイロードインジェクションなどの実用的な攻撃を可能にする。 本研究では,LSM対応エージェントにおけるTOCTOU脆弱性の最初の研究について述べる。 我々は,このタイプの脆弱性を評価するために設計された,66の現実的なユーザタスクを備えたベンチマークTOCTOU-Benchを紹介する。 対策として,システムセキュリティからこの設定への検出・緩和技術の適用,即時書き換え,状態整合性監視,ツールハウジングを提案する。 本研究はエージェントワークフローに特有な課題を取り上げ,自動検出による検出精度の最大25%,脆弱な計画生成の3%,攻撃ウィンドウの95%の削減を実現した。 これら3つのアプローチを組み合わせることで,TOCTOUの脆弱性を12%から8%に削減する。 我々の発見は、AIの安全性とシステムセキュリティの交差点に新しい研究の方向を開く。

関連論文リスト

• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• Enhancing Security in LLM Applications: A Performance Evaluation of Early Detection Systems [1.03590082373586]
  迅速なインジェクション攻撃では、攻撃者はシステム命令を悪意を持って操作し、システムの機密性を侵害する。 本研究では,早期インジェクション検出システムの性能について検討し,様々なオープンソースソリューションで実装された技術の検出性能に着目した。 本研究は, 突発的漏洩検出手法の異なる解析方法と, それらの手法を実装した複数の検出方法の比較分析を行った。
  論文  参考訳（メタデータ） (2025-06-23T20:39:43Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Exposing the Ghost in the Transformer: Abnormal Detection for Large Language Models via Hidden State Forensics [5.384257830522198]
  重要なアプリケーションにおける大規模言語モデル(LLM)は、重大な信頼性とセキュリティリスクを導入している。 これらの脆弱性は悪意あるアクターによって武器化され、不正アクセス、広範囲にわたる誤報、システムの完全性を侵害した。 本研究では,LLMの異常な挙動を隠蔽法で検出する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T05:58:14Z)
• Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
  本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。 GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。 GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
  論文  参考訳（メタデータ） (2025-02-23T23:35:15Z)
• MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
  LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。 マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
  論文  参考訳（メタデータ） (2025-02-07T18:57:49Z)
• PenHeal: A Two-Stage LLM Framework for Automated Pentesting and Optimal Remediation [18.432274815853116]
  PenHealは2段階のLSMベースのフレームワークで、自律的に脆弱性を特定してセキュリティを確保する。 本稿では,LLMベースの2段階フレームワークであるPenHealについて紹介する。
  論文  参考訳（メタデータ） (2024-07-25T05:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。