論文の概要: UniCache: Task- and Type-Aware KV Cache Compression for Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2609.32831v1
• Date: Sat, 26 Sep 2026 18:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 19:49:41.190487
• Title: UniCache: Task- and Type-Aware KV Cache Compression for Unified Multimodal Models
• Title（参考訳）: UniCache: 統一マルチモーダルモデルのためのタスクおよびタイプ対応KVキャッシュ圧縮
• Abstract要約: マルチモーダルモデルは、単一のネットワーク内で理解、生成、編集を組み合わせる。 UniCacheは、タスクとタイプ対応のKVキャッシュ圧縮のためのトレーニング不要のフレームワークである。 実験によると、UniCacheは理解と編集のためのKVキャッシュ圧縮に$5times$、無視できる品質損失のある世代には$2.5times$を達成している。
• 参考スコア（独自算出の注目度）: 42.78801396522406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal models combine understanding, generation, and editing within a single network, offering a promising foundation for versatile multimodal applications. However, growing multimodal contexts make KV cache storage and access increasingly costly. Existing KV cache compression methods are typically tailored to specific tasks and single-modality caches, while overlooking changes in cache importance across tasks and timesteps. However, in unified multimodal models, each task involves multiple KV cache types, and both their composition and dynamics differ across tasks. As a result, a single compression policy overlooks task- and type-specific requirements, leading to the loss of critical information and degraded quality across tasks. Based on these findings, we propose UniCache, a training-free framework for task- and type-aware KV cache compression. UniCache identifies the cache segments activated by each task and assigns suitable compression policies through offline calibration. It coordinates their parallel execution under a shared storage budget through attention-guided allocation and task-aware temporal scheduling. Experiments show that UniCache achieves $5\times$ KV cache compression for understanding and editing and $2.5\times$ for generation with negligible quality loss, while increasing throughput by up to $1.78\times$ in long-context settings, significantly improving the practicality of scaling unified multimodal models to longer context.
• Abstract（参考訳）: 統一マルチモーダルモデルは、単一のネットワーク内での理解、生成、編集を組み合わせ、多目的マルチモーダルアプリケーションのための有望な基盤を提供する。 しかし、マルチモーダルコンテキストの増大により、KVキャッシュストレージとアクセスはますますコストがかかる。 既存のKVキャッシュ圧縮手法は、タスクやタイムステップ間でのキャッシュの重要性の変化を見越しながら、特定のタスクや単一モダリティキャッシュに合わせるのが一般的である。 しかし、統一マルチモーダルモデルでは、各タスクは複数のKVキャッシュタイプを含み、その構成とダイナミクスはタスクによって異なる。 その結果、単一の圧縮ポリシがタスク固有の要件とタイプ固有の要件を見落とし、クリティカルな情報が失われ、タスク全体で品質が低下する。 これらの知見に基づいて,タスクおよびタイプ対応KVキャッシュ圧縮のためのトレーニングフリーフレームワークであるUniCacheを提案する。 UniCacheは各タスクによって起動されるキャッシュセグメントを特定し、オフラインキャリブレーションを通じて適切な圧縮ポリシーを割り当てる。 注意誘導アロケーションとタスク対応の時間スケジューリングを通じて、共有ストレージ予算の下での並列実行を調整する。 実験の結果、UniCacheは理解と編集のためのKVキャッシュ圧縮に$5\timesと2.5\times$を達成し、長いコンテキスト設定で最大$1.78\times$までスループットを向上し、統合マルチモーダルモデルの拡張性を大幅に改善した。

関連論文リスト

• HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference [23.016627145448467]
  MLLM(Multimodal Large Language Models)は、テキスト、画像、ビデオに対する高度な統一推論である。 各ビジュアル入力は数千のトークンに拡張され、キャッシュはコンテキスト長と線形にスケールする。 一般的な解決策は、固定された予算の下で異なる粒度でキャッシュを圧縮することである。 相補的戦略を3段階に統合したハイブリッドKVキャッシュ圧縮フレームワークであるHybridKVを提案する。
  論文  参考訳（メタデータ） (2026-04-07T13:51:07Z)
• Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing [29.913403615975174]
  高いスループットでトランスフォーマー言語モデルを実行するには、冗長な計算を避けるためにキーバリュー(KV)をキャッシュする必要がある。 KVキャッシュのメモリフットプリントは著しく、サービスコストに大きな影響を与えます。 本稿では,ランダムな層間注意(ランダムな層間注意,ランダムな層間注意,ランダムな層間注意)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T14:56:17Z)
• ICaRus: Identical Cache Reuse for Efficient Multi Model Inference [14.040073161061578]
  ICaRusは、複数のモデルで同一のKVキャッシュをすべての層で共有できる新しいアーキテクチャである。 ICaRusは最大11.1倍のP95レイテンシを実現し、8つの異なるモデルを持つマルチエージェントワークフローにおいて3.8倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-02-27T14:21:45Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• DiffKV: Differentiated Memory Management for Large Language Models with Parallel KV Compaction [33.936381781692994]
  DiffKVは効率的なKVキャッシュ圧縮のための新しいフレームワークである。 KVキャッシュにおける3つのレベルの分化を利用する。 KVキャッシュを2.7Times$から5.7times$に圧縮できる。
  論文  参考訳（メタデータ） (2024-12-04T08:51:23Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Cost-Efficient Large Language Model Serving for Multi-turn Conversations with CachedAttention [13.041210267981613]
  CachedAttentionは、マルチターン会話間でKVキャッシュの再利用を可能にする新しいアテンションメカニズムである。 これは、最初のトークン(TTFT)までの時間を最大87%削減し、マルチターン会話のスループットを最大7.8$times$に改善し、エンドツーエンドの推論コストを最大70%削減する。
  論文  参考訳（メタデータ） (2024-03-23T10:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。