Fugu-MT 論文翻訳(概要): RaBitQCache: Rotated Binary Quantization for KVCache in Long Context LLM Inference

論文の概要: RaBitQCache: Rotated Binary Quantization for KVCache in Long Context LLM Inference

arxiv url: http://arxiv.org/abs/2606.31519v1
Date: Tue, 30 Jun 2026 11:32:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:19.19637
Title: RaBitQCache: Rotated Binary Quantization for KVCache in Long Context LLM Inference
Title（参考訳）: RaBitQCache: 長期LLM推論におけるKVキャッシュのための回転バイナリ量子化
Abstract要約: 長期コンテキストの大規模言語モデル推論は、巨大なキーバリューキャッシュによって著しくボトルネックとなる。ランダムに回転するバイナリ量子化を利用する新しいスパースアテンションフレームワークであるRaBitQCacheを提案する。本稿では,RaBitQCacheが推論を著しく高速化し,メモリI/Oを低減しつつ,生成品質を最先端のベースラインと比較する。
参考スコア（独自算出の注目度）: 16.966373205482256
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Long-context Large Language Model inference is severely bottlenecked by the massive Key-Value (KV) cache, yet existing sparse attention methods often suffer from static fixed-budget (Top-k) retrieval or rely on proxy scores that are computationally expensive and biased. To address these limitations, we propose RaBitQCache, a novel sparse attention framework that utilizes randomized rotated binary quantization and high-throughput binary-INT4 arithmetic to efficiently estimate attention weights. Our proxy score serves as an unbiased estimator with a proven error bound, enabling adaptive Top-p retrieval that dynamically adjusts the token budget based on actual attention sparsity. We further implement a hardware-aware system with asynchronous pipelining and lazy updates to mask overhead. Evaluations demonstrate that RaBitQCache significantly accelerates inference and reduces memory I/O while preserving generation quality compared to state-of-the-art baselines. Code is available at https://github.com/Sakuraaa0/RaBitQCache.git.
Abstract（参考訳）: 長期コンテキストの大規模言語モデル推論は、巨大なキーバリュー(KV)キャッシュによって著しくボトルネックとなるが、既存の疎い注意法は静的な固定予算(Top-k)検索に悩まされる場合や、計算コストとバイアスのかかるプロキシスコアに依存する場合が多い。これらの制約に対処するため,ランダム化された2進量子化と高スループットの2進数INT4演算を用いて注意重みを効率的に推定する新しいスパースアテンションフレームワークであるRaBitQCacheを提案する。我々のプロキシスコアは、エラー境界が証明された未バイアス推定器として機能し、実際の注意間隔に基づいてトークン予算を動的に調整する適応的なTop-p検索を可能にする。さらに、非同期パイプライニングと遅延アップデートによるオーバヘッドをマスクするハードウェア対応システムを実装した。評価の結果、RaBitQCacheは推論を著しく加速し、メモリI/Oを削減しつつ、生成品質を最先端のベースラインと比較する。コードはhttps://github.com/Sakuraaa0/RaBitQCache.gitで入手できる。

関連論文リスト

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文参考訳（メタデータ） (2026-07-30T02:42:51Z)
DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing [30.82607063015274]
DASH-KVは,非対称な深層ハッシュによる近接探索として注目を再構築する,革新的なアクセラレーションフレームワークである。 LongBenchの実験では、DASH-KVは、O(N2) から線形 O(N) への推論複雑性を低減しつつ、全注目性能を一致させながら、最先端のベースライン法を著しく上回ることを示した。
論文参考訳（メタデータ） (2026-04-21T11:33:24Z)
IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs [12.353502602473695]
キーバリュー(KV)キャッシュは、大規模言語モデルにおける推論の加速に重要な役割を果たす。セマンティックトークンクラスタリングとPagedAttentionを統合した新しいKVキャッシュ管理戦略を提案する。 256の予算で、IceCacheは完全なKVキャッシュモデルによって達成された元の精度の99%を維持している。
論文参考訳（メタデータ） (2026-04-12T09:02:20Z)
AttnCache: Accelerating Self-Attention Inference for LLM Prefill via Attention Cache [17.07520167324377]
大規模言語モデル(LLM)は、チャット、コード生成、推論などの生成アプリケーションで広く使われている。我々は,LLM推論のプリフィルステージを高速化するフレームワークであるAttnCacheを提案する。 AttnCacheはCPU上でのエンド・ツー・エンドと2倍のアテンション・スピードアップ、GPU上でのエンド・ツー・エンドと3倍のアテンション・スピードアップを平均で1.2倍の精度で達成する。
論文参考訳（メタデータ） (2025-10-29T21:26:17Z)
OBCache: Optimal Brain KV Cache Pruning for Efficient Long-Context LLM Inference [11.315090790312041]
本稿では,キャッシュ消去を階層的に構造化したプルーニング問題として定式化するフレームワークを提案する。プルーニングトークンによって誘導される注意出力の摂動を、孤立鍵、孤立値、結合鍵-値対に導かれる閉形式スコアを用いて測定する。我々のスコアは、注意重みだけでなく、価値状態や注意出力からの情報も考慮し、既存の逸脱戦略を出力対応信号で強化する。
論文参考訳（メタデータ） (2025-10-09T00:58:28Z)
Rectified Sparse Attention [61.7702154360081]
効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
論文参考訳（メタデータ） (2025-06-04T16:01:48Z)
Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query [48.52389201779425]
KVキャッシュメモリの使用は、長いテキストシーケンスで大幅に増加する。プリフィルステージアテンションスコアを用いた既存のKVキャッシュ消去手法Pruneトークン Lookahead Q-Cacheは、真のデコードステージクエリをよりよく近似するために、低コストの疑似ルックアヘッドクエリを生成する。
論文参考訳（メタデータ） (2025-05-24T10:34:38Z)
CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
論文参考訳（メタデータ） (2024-12-16T13:01:53Z)
ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文参考訳（メタデータ） (2024-07-30T17:59:08Z)
Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。命令符号化では,キャッシュの重要性を評価するために周波数を利用する。様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文参考訳（メタデータ） (2024-07-25T15:29:05Z)
PQCache: Product Quantization-based KVCache for Long Context LLM Inference [27.523568511043273]
Key-Value Cache (KVCache) は、大規模言語モデル(LLM)内のトークンの中間表現である。本稿では,KVCacheの管理にPQ(Product Quantization)を採用しているPQCacheを提案する。 PQCacheは有効性と効率の両方を実現しており、InfiniteBenchの既存のメソッドよりも4.60%のスコアが向上している。
論文参考訳（メタデータ） (2024-07-01T13:05:42Z)
CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
論文参考訳（メタデータ） (2024-04-24T16:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。