論文の概要: Fixed State, Long Reach: What a Constant-Size Cache Buys Block Diffusion at Scale

• arxiv url: http://arxiv.org/abs/2609.11998v1
• Date: Wed, 09 Sep 2026 23:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.485244
• Title: Fixed State, Long Reach: What a Constant-Size Cache Buys Block Diffusion at Scale
• Title（参考訳）: 固定状態,ロングリーチ:定サイズキャッシュが大規模にブロック拡散を買収する理由
• Abstract要約: ブロック拡散はブロックバイブロックを復号することでキャッシュを復元する。 我々はこのレシピを大規模に研究し,300Bトークン上に3つの3Bブロック拡散復号器を事前学習した。
• 参考スコア（独自算出の注目度）: 18.318746660954663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models decode tokens in parallel, but their bidirectional denoiser rules out the naive key--value (KV) cache behind fast autoregressive inference. Block diffusion restores caching by decoding block-by-block, and the block caches deployed on it so far are tied to attention: O(L)in memory and, if used as training-free retrofits, only an approximation of the model's computation. Both constraints can be overcome: sequence mixers that summarize finalized blocks into a reusable state support block caching, and the corresponding block-causal training objective makes the cache exact. We study this recipe at scale, pretraining three 3B block-diffusion denoisers (attention, mamba, and hybrid) on 300B tokens under one single-frontier objective and decoding all three through a single cached interface. Only the state-space cache is O(1) in sequence length: its memory and per-step latency stay constant at any context length, while an attention cache remains O(L). At 256k tokens (where attention has grown to 82GB and 29 ms/step), the Mamba cache delivers 4.3x lower latency, 11x less memory, and 2.6x higher single-stream throughput; and because that footprint is constant it scales with batch as well, reaching 14x the aggregate throughput, where attention cannot run beyond a single stream. The same linear-state bias lets the Mamba and hybrid backbones keep retrieving out to 8-16x their training length, whereas attention's retrieval collapses at 2x, at no measured quality cost.
• Abstract（参考訳）: 拡散言語モデルはトークンを並列にデコードするが、その双方向なデノイザは、高速な自己回帰推論の背後にある単純キー値(KV)キャッシュを除外する。 ブロック拡散はブロックバイブロックをデコードすることでキャッシュを復元し、これまでにデプロイされたブロックキャッシュはO(L)メモリに関連付けられている。 ファイナライズされたブロックを再利用可能なステートサポートブロックキャッシュにまとめるシーケンスミキサーと、対応するブロック因果トレーニングの目的がキャッシュを正確にする。 我々はこのレシピを大規模に研究し、300Bトークン上に3つの3Bブロック拡散復号器(アテンション、マンバ、ハイブリッド)を1つの一元的目的の下で事前学習し、これら3つ全てを1つのキャッシュされたインタフェースで復号する。 メモリとステップごとのレイテンシは任意のコンテキスト長で一定であり、注意キャッシュはO(L)のままである。 256kトークン(注意が82GB、29ms/stepに伸びている)では、Mambaキャッシュは4.3倍のレイテンシ、11倍のメモリ、2.6倍のシングルストリームスループットを提供する。 同じ線形状態バイアスにより、マンバとハイブリッドのバックボーンはトレーニング期間を8-16倍に伸ばすことができるが、注意の回収は2倍に低下する。

関連論文リスト

• LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models [9.146969118551167]
  DLLMは、テキスト生成におけるSAR(Semi-Autoregressive Decoding)による並列生成を可能にする。 現在の方法は、オペレータレベルの深刻な冗長性に悩まされている。 トレーニング不要なアクセラレーションフレームワークであるLaCacheを提案する。
  論文  参考訳（メタデータ） (2026-07-16T10:49:15Z)
• Training Hybrid Block Diffusion Language Models with Partial Bidirectionality [11.618306403714692]
  長文生成は、大規模言語モデルにおいて重要な課題の1つである。 本稿では,逆マンバスキャンをアクティブデノナイジングブロックに制限することにより,この問題に対処するBDLMマンバ-アテンションハイブリッドを提案する。 長文推論では、BDLM Mamba-H はフルシーケンスの DiffuMamba-H の 65K トークンのスループットの 19.7 倍、BDLM の 262K のスループットの 3.7 倍に達する。
  論文  参考訳（メタデータ） (2026-07-02T22:37:43Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• No Cache Left Idle: Accelerating diffusion model via Extreme-slimming Caching [17.396336005757025]
  トレーニングフリーでキャッシュベースのアクセラレータであるX-Slim(e-Xtreme-Slimming Caching)を提案する。 タイムステップ、構造(ブロック)、空間(トークン)にわたってキャッシュ可能な冗長性を利用する最初の統一されたフレームワークである。 遅延を最大4.97倍と3.52倍に減らし、知覚損失を最小限に抑える。
  論文  参考訳（メタデータ） (2025-12-14T09:02:18Z)
• VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization [23.781285860723248]
  キーバリュー(KV)キャッシュは、大きな言語モデル(LLM)推論中にメモリオーバーヘッドを導入する。 本稿では,効率的な推論を実現しつつ,能動的KVキャッシュ圧縮のための新しいVQ手法であるVecInferを提案する。 VecInferは、長いコンテキスト理解と数学的推論タスクの両方において、既存の量子化ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-07T17:35:28Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。