論文の概要: Silent and Costly: Characterizing and Detecting Prompt-Caching Mis-Integration in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.34817v1
• Date: Mon, 26 Oct 2026 04:01:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.738097
• Title: Silent and Costly: Characterizing and Detecting Prompt-Caching Mis-Integration in LLM Agents
• Title（参考訳）: サイレントでコスト:LDM剤のプロンプトキャッシングミス・インターセグレーションの特性と検出
• Abstract要約: 10のオープンソースエージェントシステムからの120のプロンプトキャッシュ関連プルリクエストに関する実証的研究を行った。 本研究は,要求側誤算と読み取り側誤算の両方において,即時誤算が生じることを示す。 我々は,キャッシュの正確な統合に必要な条件とともに,呼び出しサイトとしての迅速なキャッシュ誤積分をモデル化したCACHELINTを設計する。
• 参考スコア（独自算出の注目度）: 21.001400840345635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) services process massive volumes of user requests, resulting in substantial inference costs. To reduce both cost and latency, providers have introduced prompt caching. However, correctly integrating prompt caching is non-trivial due to heterogeneous provider-specific APIs and continuously evolving caching semantics. To understand prompt-caching mis-integration in downstream applications, we conduct the first empirical study of 120 prompt-caching-related pull requests from 10 popular open-source agent systems. Our findings show that prompt-caching mis-integrations arise in both request-side misconfiguration and read-side usage miscount. More importantly, most mis-integrations fail silently without causing observable runtime failures. Motivated by these findings, we design CACHELINT, which models a prompt-caching mis-integration as an invocation site together with the preconditions required for correct cache integration. CACHELINT locates caching invocation sites with CodeQL and discharges each precondition either against a dated provider capability oracle or with an LLM guard check. CACHELINT achieves 0.71 precision and 0.78 recall in identifying the 120 labeled mis-integrations across the 10 studied agent systems. Our evaluation further demonstrates the effectiveness of CACHELINT in real-world settings, identifying 32 mis-integrations across 571 agent projects with 0.86 precision. These findings have received 21 developer confirmations and led to 18 upstream fixes, including one in Anthropic's official SDK.
• Abstract（参考訳）: 大規模言語モデル(LLM)サービスは大量のユーザリクエストを処理するため、かなりの推論コストがかかる。 コストとレイテンシの両方を削減するため、プロバイダはプロンプトキャッシュを導入した。 しかし、不均一なプロバイダ固有のAPIと継続的に進化するキャッシュセマンティクスのため、プロンプトキャッシュを正しく統合することは簡単ではない。 ダウンストリームアプリケーションにおけるプロンプトキャッシュの誤積分を理解するために,10のオープンソースエージェントシステムからの120個のプロンプトキャッシュ関連プルリクエストについて実験を行った。 本研究は,要求側ミスコンフィグレーションと読み取り側ミスカウントの両方において,迅速なキャッシュミスインテグレーションが生じることを示す。 さらに重要なのは、ほとんどの誤統合は、観測可能なランタイム障害を引き起こすことなく、静かに失敗することです。 これらの結果に触発されたCACHELINTを設計し,キャッシュの正確な統合に必要な条件と合わせて,迅速なキャッシュ誤積分を呼び出しサイトとしてモデル化する。 CACHELINTは、CodeQLによるキャッシュ呼び出しサイトを特定し、時代遅れのプロバイダ機能オラクルとLLMガードチェックのいずれかに対して、それぞれのプレ条件を出力する。 CACHELINTは10のエージェントシステム間で120のラベル付き誤積分を識別し、0.71の精度と0.78のリコールを達成する。 さらに, 実環境におけるCACHELINTの有効性を実証し, 0.86 の精度で 571 個のエージェントプロジェクト間で 32 個の誤積分を同定した。 これらの発見は21の開発者確認を受け、18のアップストリーム修正につながった。

関連論文リスト

• Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving [0.0]
  サービスエンジンがリクエスト間で共有プロンプトプレフィックスのキーと値テンソルを再利用するプリフィックスキャッシュは、主要なオープンソーススタックでデフォルトで有効になっている。 キャッシュを有効にし、2つのエンジンと4つの重み付けフォーマットで無効にする。 繰り返し実行はすべての構成においてビット識別され、800回中0回であり、他の非決定性源を0.5%に制限している。
  論文  参考訳（メタデータ） (2026-09-04T05:27:34Z)
• Cache-Related Smells in GitLab CI/CD: Comprehensive Catalog, Automated Detection, and Empirical Evidence [1.6312989763677892]
  GitLab CI/CDには、キャッシュ関連の10の臭いの包括的なカタログがあります。 そこで本研究では,10種類の匂いを自動的に検出するCROSSERを提案する。
  論文  参考訳（メタデータ） (2026-04-20T07:02:36Z)
• Don't Break the Cache: An Evaluation of Prompt Caching for Long-Horizon Agentic Tasks [1.2292307778008844]
  本稿では,3大言語モデル(LLM)プロバイダ間でのプロンプトキャッシュの総合評価について述べる。 以上の結果から,プロンプトキャッシングによりAPIコストが45～80%削減され,プロバイダ間で13～31%短縮された。
  論文  参考訳（メタデータ） (2026-01-09T18:41:57Z)
• Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
  キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。 従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。 本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-11T06:53:27Z)
• Auditing Prompt Caching in Language Model APIs [77.02079451561718]
  大規模言語モデル(LLM)における即時キャッシュによるプライバシリークについて検討する。 OpenAIを含む7つのAPIプロバイダのユーザ間でのグローバルキャッシュ共有を検出します。 OpenAIの埋め込みモデルがデコーダのみのトランスフォーマーであることの証拠が見つかりました。
  論文  参考訳（メタデータ） (2025-02-11T18:58:04Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• SCALM: Towards Semantic Caching for Automated Chat Services with Large Language Models [15.742472622602557]
  セマンティック分析を重視し,重要なキャッシュエントリやパターンを識別する新しいキャッシュアーキテクチャであるSCALMを提案する。 評価の結果,SCALMはキャッシュヒット率を増大させ,LLMChatサービスの運用コストを低減させることがわかった。
  論文  参考訳（メタデータ） (2024-05-24T08:16:22Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。