論文の概要: TierKV: Long-Context On-Device LLMs via Predictive Multi-Tier KV Caching

• arxiv url: http://arxiv.org/abs/2609.21172v1
• Date: Fri, 18 Sep 2026 00:36:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.803378
• Title: TierKV: Long-Context On-Device LLMs via Predictive Multi-Tier KV Caching
• Title（参考訳）: TierKV: 予測マルチティアKVキャッシングによる長期オンデバイスLCM
• Abstract要約: TierKVは、予測的マルチティアキャッシュ最適化に基づいて構築されたモバイルLLM推論フレームワークである。 既存のモバイルLLMフレームワークよりも最大17.6倍のスループット向上を実現している。 これによりRAM常駐のKVキャッシュが12.5-34%削減され、同じメモリ予算でコンテキストが大幅に長くなる。
• 参考スコア（独自算出の注目度）: 17.21633617033978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are moving onto mobile devices for increasingly diverse workloads over text, images, video, and audio. These applications often require long contexts, making the Key-Value (KV) cache a dominant memory bottleneck because it grows linearly with sequence length and is accessed at every decoding step. Prior work reduces KV-cache footprint through low-rank compression, token eviction, or flash offloading, but the resulting reconstruction overhead, irreversible token loss, or I/O stalls can offset the benefit of saving memory. We present TierKV, a mobile LLM inference framework built on Predictive Multi-Tier Cache Optimization (PMCO). Before decoding starts, PMCO predicts future cache demand from prefill hidden states and jointly assigns tokens to exact, low-rank, and flash-offloaded tiers under the device memory and accuracy budgets. This formulation retains access to the full context, removes the circular dependency of reactive eviction, and admits a closed-form solver that selects tier boundaries and per-layer ranks at runtime. Across eight text, vision, and audio models on three mobile SoCs, TierKV improves prefill throughput by up to 17.6x over existing mobile LLM frameworks, reduces RAM-resident KV cache by 12.5-34%, thereby enabling substantially longer contexts under the same memory budget, while incurring only minor accuracy degradation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト、画像、ビデオ、オーディオなど、ますます多様なワークロードのためにモバイルデバイスに移行している。 これらのアプリケーションは長いコンテキストを必要とすることが多く、キーバリュー(KV)キャッシュはシーケンス長とともに線形に成長し、デコードステップ毎にアクセスされるため、主要なメモリボトルネックとなる。 以前の作業では、低ランク圧縮、トークン消去、フラッシュオフロードによってKVキャッシュのフットプリントを減らすが、結果として再構築オーバーヘッド、不可逆トークン損失、あるいはI/Oストールはメモリ節約の利点をオフセットすることができる。 本稿では,予測型マルチティアキャッシュ最適化(PMCO)に基づくモバイルLLM推論フレームワークTierKVを提案する。 デコードを開始する前に、PMCOは隠された状態から将来のキャッシュ需要を予測し、デバイスメモリと精度の予算の下でトークンを正確に、低ランクで、フラッシュオフロードされた層に共同割り当てる。 この定式化は、完全なコンテキストへのアクセスを保持し、リアクティブな排除の円形依存性を排除し、実行時に階層境界と層ごとのランクを選択するクローズドフォームソルバを許可する。 3つのモバイルSoC上の8つのテキスト、ビジョン、オーディオモデルに対して、TierKVは既存のモバイルLLMフレームワークよりも最大17.6倍のプリフィルスループットを改善し、RAM常駐KVキャッシュを12.5-34%削減し、同じメモリ予算下でのコンテキストを大幅に長くすると同時に、わずかな精度の劣化しか生じない。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• InferScale: GPU-Native KV Injection for Personalized LLM Serving [2.1906014825510307]
  InferScaleは、繰り返しプロンプトプリフィルを再利用可能なKV状態に置き換えるGPUネイティブメモリシステムである。 InferScaleは、各メモリファクトのKV表現をプリ計算し、GPUにセマンティック埋め込みと一緒に格納し、サービス時に関連する事実を検索する。 Context-Windowは、ターゲットファクトのKVのみをキャッシュしながら、前の会話コンテキストの小さなウィンドウと共に、各メモリファクトをエンコードする。
  論文  参考訳（メタデータ） (2026-07-29T16:18:22Z)
• ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval [58.575695990976136]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて優れたパフォーマンスを示している。 LLMは、最終的な答えに到達する前に、長い中間的思考を生成する必要があることが多い。 我々は,LLMが動詞の推論思考を要約に適応的に圧縮することを可能にする新しいアプローチであるZoomRを紹介する。
  論文  参考訳（メタデータ） (2026-04-13T02:00:35Z)
• KVSwap: Disk-aware KV Cache Offloading for Long-Context On-device Inference [6.159622195480178]
  言語モデル(LM)は、ミーティングやビデオの要約、ドキュメント分析といった、モバイルおよび組み込みAIアプリケーションを支えるものだ。 キー値(KV)キャッシュがコンテキスト長とバッチサイズとともに線形に増加するため、長コンテキスト推論はすぐにメモリキャパシティウォールにヒットする。 KVSwapは、KVキャッシュを非揮発性二次記憶装置(ディスク)にオフロードすることで、このメモリ壁を壊すソフトウェアフレームワークである。 KVSwapは、既存のKVキャッシュオフロード方式と比較して、生成品質を維持しながら、厳しいメモリ予算の下で高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-11-14T22:37:57Z)
• InfiniPot-V: Memory-Constrained KV Cache Compression for Streaming Video Understanding [26.408842739663346]
  InfiniPot-Vは、ストリーミングビデオ理解のためのハードで長さに依存しないメモリキャップを強制する、トレーニング不要でクエリに依存しない最初のフレームワークである。 ピーク時のGPUメモリを最大94%削減し、リアルタイム生成を継続し、マルチターンダイアログでフルキャッシュの正確性にマッチまたは超える。
  論文  参考訳（メタデータ） (2025-06-18T02:22:14Z)
• Dialogue Without Limits: Constant-Sized KV Caches for Extended Responses in LLMs [6.222287867011644]
  精度を保ちながら一定サイズのKVキャッシュを維持する推論時間手法であるMorphKVを提案する。 保持や損失圧縮とは異なり、MorphKVは最近のトークンの注意パターンによってガイドされる軽量更新を通じてKVキャッシュを反復的に洗練する。 我々の研究では、52.9$%のメモリセーブと18.2$%の精度が、最先端の先行研究と比較して高いことを示している。
  論文  参考訳（メタデータ） (2025-03-02T18:12:50Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。