論文の概要: When Dynamic Scaling Fails: A Scale-State Feedback Governs Recurrent-State Quantization in Linear-Attention and SSM LLMs

• arxiv url: http://arxiv.org/abs/2610.15139v1
• Date: Sat, 10 Oct 2026 19:30:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:21:51.631779
• Title: When Dynamic Scaling Fails: A Scale-State Feedback Governs Recurrent-State Quantization in Linear-Attention and SSM LLMs
• Title（参考訳）: 動的スケーリングが失敗した場合: 線形アテンションとSSM LLMにおけるスケール状態フィードバックゴブリンの繰り返し状態量子化
• Abstract要約: 各ステップで適用される定量器は、再発とそのエラー複合体の中に置かれる。 合成リコールを最初から完全に無傷に残したInt4は、1000歩後に破壊する。 外れ値を見つけ、ビット幅が認証されたデコード水平線を報告します。
• 参考スコア（独自算出の注目度）: 8.403971471573607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear-attention and state-space LLMs carry long context in a fixed-size recurrent state, and quantizing that state is the natural way to cut its cost during long decode. Unlike a weight tensor, the state is rewritten at every step, so a quantizer applied at each step sits inside the recurrence and its errors compound. INT4 that leaves synthetic recall perfectly intact at the start destroys it a thousand steps later. The mechanism is a feedback between the quantizer scale and the state it is derived from. Yoking that scale to a full-precision reference removes the resulting norm explosion entirely, yet recovers only 1.8 of the 5.4 nats lost, so numerical instability and functional degradation are separable failures. The remainder is a resolution problem that locating outliers does not solve, since every outlier-aware scheme here loses to plain persistent scaling. Allocating bits across layers does help, but under article-disjoint splits a learned allocation collapses onto the trivial rule of protecting the first few layers. Run out to 32K, group-wise INT4 is worth no more than discarding the state. Contain the scale rather than locate outliers, and report the decode horizon at which a bit-width was certified.
• Abstract（参考訳）: 線形アテンションと状態空間 LLM は、一定サイズのリカレント状態において長いコンテキストを持ち、その状態を定量化することは、長いデコードの間、そのコストを削減する自然な方法である。 重みテンソルとは異なり、状態は各ステップで書き直されるので、各ステップで適用される量化器は繰り返しとそのエラー化合物の中に置かれる。 合成リコールを最初から完全に無傷に残したINT4は、1000ステップ後に破壊する。 このメカニズムは、量子化器スケールとそれに由来する状態の間のフィードバックである。 このスケールをフル精度の基準にすると、通常の爆発は完全に除去されるが、5.4個のナットのうち1.8個しか回収できないため、数値不安定性と機能劣化は分離可能な故障である。 残りの問題は、ここでのすべてのアウトリーア認識スキームは、通常の永続的なスケーリングに負けるため、アウトリーの配置が解決しない解決問題である。 レイヤ間でビットを割り当てることが役立ちますが、記事の分離の下では、学習したアロケーションの崩壊が、最初の数レイヤを保護するという自明なルールに分解されます。 32Kまで実行すれば、グループ単位のINT4は、状態を捨てる以上の価値はありません。 アウトリーチを見つけるのではなく、スケールを維持し、ビット幅が認証されたデコード水平線を報告します。

関連論文リスト

• Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization [58.53931135216174]
  トレーニング後の量子化は、大きな言語モデルを圧縮するための強力なツールである。 逐次量子化(Sequential Quantization)は、各層を前者の既に定量化されている出力に再計算することで、エラーの複雑化の原因となる。 本稿では, 量子化を完全に並列に保ちながら, 逐次的利益の多くを回復する, アクティベーションデノイングによる並列量子化を提案する。
  論文  参考訳（メタデータ） (2026-10-05T23:41:48Z)
• STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
  デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。 STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。 5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
  論文  参考訳（メタデータ） (2026-09-29T17:59:40Z)
• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
  本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
  論文  参考訳（メタデータ） (2026-09-29T17:59:34Z)
• S4R: Scaling for Rigid-Body Interpenetration Resolution [77.64742259295664]
  静的相互接続修復のためのスケール継続法であるS4Rを提案する。 メッシュレベルの共有評価器とシーン毎の統一タイミングプロトコルを用いて,Kubric,HY3D-Bench,Thingi10K上のS4Rを評価する。
  論文  参考訳（メタデータ） (2026-09-17T15:02:45Z)
• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Constraint-Anchored Reasoning Traces [9.39195684989942]
  MLLM(Autoregressive Multimodal Large Language Model)は、ミススノーボールに悩まされる。 最先端のオープンソースMLLMでは、最初のエラーが発生すると、これらのケースの65%で、残りのステップすべてにわたって推論カスケードが失敗する。 本稿では,MLLMを学習し,言語推論のステップを記号的制約アサーションでインターリーブする,ニューロシンボリック・シンボリック・フレームワークであるConstraint-Anchored Reasoning Traces (CART)を提案する。
  論文  参考訳（メタデータ） (2026-07-18T09:24:45Z)
• The Orthogonalized Read Is a Removable Training Scaffold for Recurrent Memory [0.0]
  効果は再現されるが、メモリ改善ではない。 この任務の訓練は、急激な脱出に続き、長い確率の台地である。 公開された利益の多くは、アーキテクチャをまったく必要としない。
  論文  参考訳（メタデータ） (2026-07-02T18:54:23Z)
• What Survives When You Compress a Recursive Reasoner for the Edge? [15.460381731793975]
  再帰的推論モデルは、潜伏状態を繰り返し更新することで、数百万のパラメータだけで複雑な構造化タスクを解くことができる。 攻撃的な圧縮は局所的な予測を保存するが、グローバルな推論を損なう。 我々は,この損傷とその回復を予測できるラベルのない信号として,フル精度推論経路に類似した搬送軌道の忠実さを導入する。
  論文  参考訳（メタデータ） (2026-06-25T00:47:15Z)
• Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution [3.6704226968275253]
  量子化を乗り越える手法はモデルにほとんど変化しないが, 圧縮条件下では, 有意義な忘れ方を実現するための勾配に基づく手法を示す。 因果回路の属性を組み合わせることで両モードを解消し,最小限の差分集合部分グラフを分離するMANSUを提案する。 さらに,構造的消去と行動抑制を区別する機構的検証尺度であるCircuit Attribution Divergence(CAD)を導入する。
  論文  参考訳（メタデータ） (2026-05-14T17:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。