論文の概要: Low-Discrepancy Dither for Quantized Recurrent State Caches

• arxiv url: http://arxiv.org/abs/2609.39185v1
• Date: Wed, 30 Sep 2026 07:41:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.398017
• Title: Low-Discrepancy Dither for Quantized Recurrent State Caches
• Title（参考訳）: 量子化リカレント状態キャッシュのための低分散ダイザ
• Abstract要約: マンバスタイルおよびハイブリッド言語モデルは過去を固定サイズのリカレント状態に圧縮し、生成されたトークン毎に書き換える。 この状態を低い精度で保存することはメモリ帯域幅を節約しますが、すべてのラウンドエラーは次の更新にフィードバックされ、長い世代にわたって蓄積することができます。 ランダムな数を必要としない決定論的黄金比ワイルディザは、丸みよりも完全精度に近い量子化モデルをもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mamba-style and hybrid language models compress their past into a fixed-size recurrent state that is rewritten at every generated token. Storing this state in low precision saves memory bandwidth, but every rounding error is fed back into the next update and can accumulate over long generations. Production systems round the state stochastically; we ask which rounding rule such caches should use. We find that a deterministic golden-ratio Weyl dither, which needs no random numbers, consistently brings the quantized model closer to the full-precision one than stochastic rounding, across pure and hybrid models, storage formats, and long decoding horizons, at no extra cost. Round-to-nearest behaves differently: because it discards small updates, its error keeps growing, so it can look best in short evaluations yet falls far behind over long generations. A discrepancy analysis explains this ordering, and we document implementation pitfalls that silently remove the benefit.
• Abstract（参考訳）: マンバスタイルおよびハイブリッド言語モデルは過去を固定サイズのリカレント状態に圧縮し、生成されたトークン毎に書き換える。 この状態を低い精度で保存することはメモリ帯域幅を節約しますが、すべてのラウンドエラーは次の更新にフィードバックされ、長い世代にわたって蓄積することができます。 運用システムは州を確率的に回り、そのようなキャッシュが使用するラウンドルールを問う。 ランダムな数を必要としない決定論的黄金比ワイルディザは、純粋およびハイブリッドモデル、ストレージフォーマット、長い復号水平線にまたがって、連続的に量子化されたモデルを確率的ラウンドリングよりも完全精度に近いものにし、余分なコストを伴わない。 ラウンド・トゥ・アレストは、小さな更新を破棄するので、そのエラーは増え続けるので、短い評価でもベストに見えるが、長い世代でずっと遅れている。 相違分析では、この順序を説明し、その利点を静かに取り除く実装の落とし穴を文書化します。

関連論文リスト

• Fine-Tuning Low-Bit Models with Gradient in Quantized Code Space [78.05046281165885]
  微調整の低ビットモデルは、最終配置されたチェックポイントを同じ低ビット形式に保ちながら、量子化されたモデルを適用することを目的としている。 GradCodesは、異なる量子化データタイプにわたる微調整の低ビットモデルを一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-31T14:54:30Z)
• Dynamic Compression in Recurrent Networks [10.562527255330536]
  リカレントモデルは、履歴を固定サイズの状態に圧縮することで、長いコンテキストを効率的に処理する。 動的圧縮を導入し、過去のトークンを選択的に再検討し、その固定サイズの状態を修正できるようにする。 動的圧縮は, 正確な再利用に必要な再帰状態を著しく低減し, 保存関数の数が増加するにつれて, より良好にスケールする。
  論文  参考訳（メタデータ） (2026-08-18T15:29:18Z)
• Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
  本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。 固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
  論文  参考訳（メタデータ） (2026-07-10T18:28:21Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference [58.46323651532913]
  本研究では,モデルが周期的に最新のコンテキストを持続的な高速重みに変換する睡眠様統合機構について検討する。 睡眠中、モデルは蓄積したコンテキストにN$のオフラインリカレントパスを実行し、状態空間モデルの高速な重みを更新する。 睡眠時間の増加は,より深い推論を必要とする例では最大で,我々のモデルではN$の上昇がパフォーマンスを向上させることを示す。
  論文  参考訳（メタデータ） (2026-05-25T17:55:39Z)
• Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
  重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。 リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。 正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
  論文  参考訳（メタデータ） (2026-04-17T09:24:58Z)
• Rectified Sparse Attention [61.7702154360081]
  効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。 本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。 数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-04T16:01:48Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。