論文の概要: OmniKVQuant: KV Cache Quantization for Omni-LLMs

• arxiv url: http://arxiv.org/abs/2609.11582v1
• Date: Thu, 10 Sep 2026 14:14:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.380048
• Title: OmniKVQuant: KV Cache Quantization for Omni-LLMs
• Title（参考訳）: OmniKVQuant: Omni-LLMのKVキャッシュ量子化
• Abstract要約: 我々はTurboQuantがマルチモーダルキャッシュでどのように振る舞うかを分析し、時間的キードリフトとヘテロジニアス値幾何学という2つの重要な問題を特定する。 OmniKVQuantは、入力ストリームの各ショートウィンドウにキー量子化範囲を設定する、トレーニング不要のフレームワークである。 注意を払って2ビットキャッシュをアンパックする、融合したTritonデコードカーネルを提供するので、FP16キャッシュは構築されない。
• 参考スコア（独自算出の注目度）: 34.40933022398818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Omni-modal large language models (Omni-LLMs) take in audio, video and text together, their KV cache memory cost grows. KV cache quantization is the de facto approach in text-only LLMs, but its application to Omni-LLMs remains unexplored. In this paper, we analyze how TurboQuant, a representative rotation-based KV cache quantization method, behaves on multimodal caches and identify two critical issues: temporal key drift and heterogeneous value geometry. To address these, we propose OmniKVQuant, a training-free framework that (i) sets the key quantization range over each short window of the input stream; and (ii) rotates values separately per modality. On Qwen2.5-Omni and Qwen3-Omni, OmniKVQuant enables 2-bit KV caches while substantially preserving performance across seven audio-visual benchmarks. We further provide a fused Triton decode kernel that unpacks the 2-bit cache during attention, so no dense FP16 cache is ever built. Code: https://github.com/kaistmm/OmniKVQuant
• Abstract（参考訳）: オムニモードの大言語モデル(Omni-LLMs)がオーディオ、ビデオ、テキストを一緒に取り込むにつれ、KVキャッシュメモリのコストは増大する。 KVキャッシュ量子化はテキストのみのLLMのデファクトアプローチであるが、Omni-LLMsへの応用は未定である。 本稿では,代表的な回転型KVキャッシュ量子化手法であるTurboQuantがマルチモーダルキャッシュでどのように振る舞うかを解析し,時間的キードリフトと不均一値幾何という2つの重要な問題を特定する。 これらの問題に対処するために、トレーニング不要のフレームワークであるOmniKVQuantを提案する。 i)入力ストリームの各ショートウィンドウにキー量子化範囲を設定し、 (ii)値はモードごとに別々に回転する。 Qwen2.5-OmniとQwen3-Omniでは、OmniKVQuantは2ビットのKVキャッシュを実現し、7つのオーディオビジュアルベンチマークのパフォーマンスを実質的に維持する。 さらに、注意を払って2ビットキャッシュをアンパックする、融合したTritonデコードカーネルを提供しています。 コード:https://github.com/kaistmm/OmniKVQuant

関連論文リスト

• Interface-Aware KV Cache Quantization for Dense On-Chip NVM in Long-Context LLM Decoding [5.984068900226547]
  キーバリュー(KV)キャッシュは、Long-context Large Language Model(LLM)デコードにおいて、主要なメモリボトルネックである。 既存のKV量子化法はGPUスタイルのメモリシステムのために設計された。 本稿では,KVキャッシュが固定レンジコンバータの背後にNVM内に存在する場合のコストについて検討する。
  論文  参考訳（メタデータ） (2026-09-04T22:58:21Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks [20.031258206130154]
  エージェントワークロードのための新しい混合精度KV-cache量子化スキームであるTriAxialKVを紹介する。 我々は、キャリブレーション、混合精度量子化、メモリ管理を含むエンドツーエンドサービスシステムとしてTriAxialKVを実装した。
  論文  参考訳（メタデータ） (2026-05-16T21:58:28Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• Plug-and-Play 1.x-Bit KV Cache Quantization for Video Large Language Models [34.412682369104765]
  ビデオ大言語モデル(VideoLLM)は、より長いビデオ入力を処理し、複雑な推論と分析を可能にする能力を実証している。 ビデオフレームからの数千の視覚トークンのため、キー値(KV)キャッシュはメモリ要求を大幅に増加させることができる。 本稿では,KVキャッシュを2ビット未満に圧縮するKVキャッシュ量子化手法であるVidKVを紹介する。
  論文  参考訳（メタデータ） (2025-03-20T15:52:43Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。