論文の概要: Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches

• arxiv url: http://arxiv.org/abs/2609.17652v2
• Date: Thu, 17 Sep 2026 12:34:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.478327
• Title: Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
• Title（参考訳）: Fathom: オフロードされたKVキャッシュ上でのスパースデコーディングのためのクエリ毎の読み取り深さ
• Abstract要約: Fathomは、各クエリが読み込むキーチャンネルのビット数を決定するキースキャンである。 Qwen3-8Bで100万トークンを使用すると、デコードステップはGPU時間で1.67倍高速になる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When agentic sessions run to a million tokens with many sessions resident at once, the KV cache and the index that ranks it live in host memory, and the scan that ranks all n keys for a top-k step becomes the traffic that bounds decoding. We present Fathom, a key scan in which each query decides how many bits of each key channel to read. The 4-bit K cache is stored channel-major as bit planes, so a prefix of t planes is exactly the channel's t-bit quantizer, and the query spends its bit budget by reverse water-filling over the variance-weighted importance of its channels. At one million tokens on Qwen3-8B a decode step is 1.67x faster in GPU time than with the 136-bit scans of Double Sparsity, Loki and SparQ r=32, and in the same GPU time as SparQ's 68-bit read (r=16) Fathom reads 18% fewer bytes with lower attention error on six of seven model and context settings. On RULER-style tasks every per-token scan matches exact top-k decoding, and on real coding-agent sessions Fathom reaches the step agreement of the most accurate 136-bit scan at 92 bits. The store is the 4-bit K copy a quantized serving stack already holds, and the method is not faster when the index is resident in GPU memory.
• Abstract（参考訳）: エージェントセッションが一度に100万のトークンに実行されると、KVキャッシュとそれをランク付けするインデックスがホストメモリに格納され、トップkステップのすべてのnキーをランク付けするスキャンがデコードにバウンドするトラフィックになる。 Fathomは、各クエリが読み込むキーチャンネルのビット数を決定するキースキャンである。 4ビットのKキャッシュは、ビットプレーンとしてチャネルメイジャーとして格納されるので、tプレーンのプレフィックスは、正確にはチャネルのtビット量子化器であり、クエリはそのチャネルの分散重み付けの重要性を逆埋めすることでビット予算を消費する。 Qwen3-8Bの100万トークンでは、Double Sparsity、Loki、SparQ r=32の136ビットスキャンよりもGPU時間で1.67倍高速で、SparQの68ビット読み取り(r=16)と同じGPU時間で、Fathomは7つのモデルとコンテキスト設定のうち6つに対して注意エラーの少ない18%少ないバイトを読み取ります。 RULERスタイルのタスクでは、トーケン毎のスキャンは正確なトップkデコーディングと一致し、実際のコーディングエージェントセッションでは、ファソムは92ビットで最も正確な136ビットスキャンのステップ合意に達する。 ストアは、既に保持されている量子化されたサービススタックを4ビットのKコピーでコピーしており、インデックスがGPUメモリに格納されている場合、メソッドは高速ではない。

関連論文リスト

• PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents [85.82624962221026]
  本稿では、読みを推論から切り離すPARSERを紹介する。 単一のチャンクにバインドされた軽量サブエージェントのバンクは、ドキュメント全体を並列に読み取る。 7Kから896Kまでのコンテキストを持つマルチホップQAでは、4Bバックボーンを持つPARSERが最強のシーケンシャルメモリベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-06T16:19:01Z)
• Unfolding the Leech Lattice: Fused Multi-Shell Decoding and VRAM Layouts for 2-Bit LLM Weights [8.550323073861415]
  リーチ格子ベクトル量子化は、最強の報告された2ビット品質を独自の評価プロトコルで保持する。 本報告では, バッチ1におけるデコード相GEMVの供用コストを計測する。
  論文  参考訳（メタデータ） (2026-09-02T14:26:06Z)
• Fractal KV-Cache Archives: Lossless Symbolic Storage with In-Place Retrieval for Long-Context LLM Inference [0.0]
  キー値(KV)キャッシュは、長文の自動回帰推論のメモリコストを支配している。 我々は、位置のKV状態がコードブックインデックスに量子化されると、結果のシンボルストリームを格納する方法を研究する。 記号列を低次元実ベクトルの列にシリアライズする縮約反復写像の族を再検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:37:49Z)
• RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
  Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
  論文  参考訳（メタデータ） (2026-06-23T00:17:48Z)
• MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference [75.41426145782751]
  本稿では,DSAインデクサのリプレースとして,インデクサヘッドをエキスパートの混合プールとして扱うDSAインデクサを提案する。 MISAはロングベンチの密度の高いDSAインデクサとDeepSeek-V3.2とGLM-5で一致し、それぞれ8倍と4倍のインデクサヘッドで動作している。 私たちのTileLangカーネルは、単一のNVIDIA H200 GPU上で、DSAのオリジナルのインデクサカーネルの約3.82倍のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2026-05-08T07:19:34Z)
• StreamIndex: Memory-Bounded Compressed Sparse Attention via Streaming Top-k [0.0]
  DeepSeek-V3.2およびV4では、圧縮スパース注意(Compressed Sparse Attention, CSA)が導入されている。 本稿では,CSAパイプラインのトリトン実装であるStreamIndexについて紹介する。 私たちのコントリビューションはインデクサのステップをターゲットにしています。より高速な注目カーネルや実チェックポイントのエンド・ツー・エンドの動作の主張はしません。
  論文  参考訳（メタデータ） (2026-05-04T13:19:29Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• BitDecoding: Unlocking Tensor Cores for Long-Context LLMs with Low-Bit KV Cache [7.306651609758117]
  我々は、低ビットKVキャッシュを備えた新しい長文LLM推論システムBitDecodingを提案する。 BitDecodingはCoresとCores Coresを活用することで、効率的な低ビットのKV-cacheデコーディングを可能にする。 BitDecoding は FP16-v2 上で 7.5x と 4.8x と 8.9x のデコーディングを高速化し、最先端のロービットシステム QLaMA-31-8B を上回る。
  論文  参考訳（メタデータ） (2025-03-24T15:22:41Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)
• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness [80.3586155104237]
  FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。 これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。 FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
  論文  参考訳（メタデータ） (2022-05-27T17:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。