論文の概要: MiniCache: Reusable Program Caching with Small Model Interfaces for Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2607.20507v1
• Date: Fri, 03 Jul 2026 06:53:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.207359
• Title: MiniCache: Reusable Program Caching with Small Model Interfaces for Efficient LLM Inference
• Title（参考訳）: MiniCache: 効率的なLLM推論のための小さなモデルインターフェースによる再利用可能なプログラムキャッシュ
• Abstract要約: MiniCacheは再利用可能なプログラムキャッシュフレームワークで、Program-of-Thought(PoT)プログラムをパラメータ化キャッシュオブジェクトに変換する。 MiniCacheは、キャッシュヒット要求のセマンティック変数抽出とターゲットLLM生成時の投機的ドラフトのために、同じ小さなモデルを再利用する。 ショッピングスタイルの要求データセット、WebShop、フォーミュラ、CodeTAT-QAの実験は、MiniCacheが推論遅延、キャッシュ再利用、正確性の間のトレードオフを改善することを示した。
• 参考スコア（独自算出の注目度）: 8.76886279227683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for program-aided reasoning, agentic decision making, and structured task execution, but these applications often incur high inference cost. We present MiniCache, a reusable program caching framework that transforms Program-of-Thought (PoT) programs into parameterized cache objects, enabling reusable computation across structurally similar requests. MiniCache reuses the same small model for semantic variable extraction on cache-hit requests and speculative drafting during target-LLM generation, reducing expensive target-LLM invocations while preserving task quality. Experiments on shopping-style request datasets, WebShop, Formula, and CodeTAT-QA demonstrate that MiniCache improves the trade-off between inference latency, cache reuse, and accuracy, achieving up to 3.1x lower latency and 2.8x higher throughput under parallel serving. These results show that small models are most effective not as replacements for large models, but as lightweight interface models that enable reliable and efficient reusable program caching.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プログラム支援の推論、エージェントによる意思決定、構造化されたタスク実行にますます使われていますが、これらのアプリケーションは高い推論コストを伴います。 プログラム・オブ・ソート(PoT)プログラムをパラメータ化キャッシュオブジェクトに変換する再利用可能なプログラムキャッシュフレームワークであるMiniCacheを提案する。 MiniCacheは、キャッシュヒット要求のセマンティック変数抽出とターゲットLLM生成時の投機的ドラフト作成で、タスク品質を維持しながら、高価なターゲットLLM呼び出しを減らすために、同じ小さなモデルを再利用している。 ショッピングスタイルの要求データセット、WebShop、フォーミュラ、CodeTAT-QAの実験では、MiniCacheが推論レイテンシ、キャッシュ再利用、精度のトレードオフを改善し、最大3.1倍のレイテンシと2.8倍のスループットを並列サービスで達成している。 これらの結果から、小型モデルは大規模モデルの代替としてではなく、信頼性と効率のよいプログラムキャッシングを可能にする軽量インタフェースモデルとして最も効果的であることが示唆された。

関連論文リスト

• LLMCache: Layer-Wise Caching Strategies for Accelerated Reuse in Transformer Inference [0.0]
  トランスフォーマーベースの言語モデルは、幅広いタスクで顕著なパフォーマンスを達成したが、その高い推論レイテンシは、リアルタイムおよび大規模デプロイメントにおいて大きな課題となっている。 LLMCacheは,入力シーケンスのセマンティックな類似性に基づいて中間的アクティベーションを再利用することで,トランスフォーマー推論を高速化する新しいレイヤワイドキャッシュフレームワークである。
  論文  参考訳（メタデータ） (2025-12-18T18:18:57Z)
• LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models [52.56008278458534]
  LaCacheは、大規模言語モデルの効率的かつ正確な生成推論のためのトレーニング不要の手法である。 LaCacheを使用することで、LLMは長期モデリングにおける重要な課題、すなわち堅牢な長距離機能と、メモリのアウト・オブ・メモリを走らせることなく連続的な生成の両方に対処できる。
  論文  参考訳（メタデータ） (2025-07-14T19:09:57Z)
• QuantCache: Adaptive Importance-Guided Quantization with Hierarchical Latent and Layer Caching for Video Generation [84.91431271257437]
  Diffusion Transformers (DiTs) はビデオ生成において支配的なアーキテクチャとして登場した。 DiTには、計算コストやメモリコストの増大など、大きな欠点がある。 我々は,新しいトレーニングフリー推論アクセラレーションフレームワークQuantCacheを提案する。
  論文  参考訳（メタデータ） (2025-03-09T10:31:51Z)
• IC-Cache: Efficient Large Language Model Serving via In-context Caching [16.75800945078601]
  IC-Cacheは、ライブ機能拡張によるサービス効率の向上を可能にするキャッシュシステムである。 IC-CacheはLCMのスループットを1.4～5.9倍改善し、応答品質を損なうことなく28～71%のレイテンシを低下させることを示した。
  論文  参考訳（メタデータ） (2025-01-22T07:52:38Z)
• XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference [9.65524177141491]
  大規模言語モデル(LLM)推論は出力トークンを1つずつ生成し、多くの冗長な計算に繋がる。 KV-Cacheフレームワークは時間と空間の複雑さを妥協する。 既存の研究では、推論精度に重要でないキャッシュデータの一部を削除することで、メモリ消費を減らすことができる。 各レイヤのキャッシュサイズをパーソナライズしてカスタマイズすることで,メモリの大幅な削減が期待できることを示す。
  論文  参考訳（メタデータ） (2024-12-08T11:32:08Z)
• InstCache: A Predictive Cache for LLM Serving [6.076957323090607]
  キャッシング技術は、大規模言語モデル推論エンジンのパフォーマンスを最適化する機会を提供する。 命令の内容と長さのばらつきが大きいため、同じ命令が短時間のウィンドウ内で再帰することは稀である。 LLMサービスシステムの予測キャッシュ機構であるInstCacheを提案する。
  論文  参考訳（メタデータ） (2024-11-21T03:52:41Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• SCALM: Towards Semantic Caching for Automated Chat Services with Large Language Models [15.742472622602557]
  セマンティック分析を重視し,重要なキャッシュエントリやパターンを識別する新しいキャッシュアーキテクチャであるSCALMを提案する。 評価の結果,SCALMはキャッシュヒット率を増大させ,LLMChatサービスの運用コストを低減させることがわかった。
  論文  参考訳（メタデータ） (2024-05-24T08:16:22Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• MeanCache: User-Centric Semantic Caching for LLM Web Services [8.350378532274405]
  キャッシングは、繰り返しクエリの推論コストを削減するための自然なソリューションである。 本稿では,LLMベースのサービスのためのユーザ中心セマンティックキャッシュであるMeanCacheを紹介する。 MeanCacheは、セマンティックに類似したクエリを特定して、キャッシュヒットやミスを判定する。
  論文  参考訳（メタデータ） (2024-03-05T06:23:50Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。