論文の概要: LinQuant: Functional Invariances for Low-Precision Linear Recurrences

• arxiv url: http://arxiv.org/abs/2610.39418v1
• Date: Thu, 29 Oct 2026 05:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.464474
• Title: LinQuant: Functional Invariances for Low-Precision Linear Recurrences
• Title（参考訳）: LinQuant:低精度線形再帰に対する機能的不変性
• Abstract要約: 低精度リカレントプリフィルのためのフレームワークLinQuantを紹介する。 これらの変換が、一般的な再発家族間で有効である場合に導かれる。 我々はこのフレームワークを,Mamba-2用の既存の低精度プリフィルパイプラインを増設し,本番環境に翻訳する。
• 参考スコア（独自算出の注目度）: 45.877829690029614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear recurrences are emerging as practical alternatives to softmax attention in large language models, appearing in both standalone and hybrid architectures. However, despite their rapid emergence, low-precision inference remains much less developed for these models than for softmax attention. During prefill, chunkwise-parallel algorithms cast much of the recurrence as dense matrix multiplications, suggesting a natural path to low-precision execution. Simply quantizing these operations in their native form, however, can be fragile. In this work, we identify functional invariances that preserve the full-precision computation while making the operands more amenable to quantization. Building on this observation, we introduce LinQuant, a framework for low-precision recurrent prefill based on seven such invariances, including rotations, diagonal rescalings, and alternative placements of recurrent decay and write factors. We derive when these transformations remain valid across common recurrence families spanning linear, gated, and delta-rule updates, and show that they provide complementary degrees of freedom for improving low-precision accuracy. Finally, we translate this framework to production by augmenting SSDi8, an existing low-precision prefill pipeline for Mamba-2, with the applicable invariances. LinQuant improves perplexity at matched latency on Mamba-2 1.3B, 2.7B, and 8B and Nemotron-H 8B, demonstrating the practical utility of invariance-based quantization for recurrent models.
• Abstract（参考訳）: 大規模言語モデルでは,独立したアーキテクチャとハイブリッドアーキテクチャの両方に現れるソフトマックスに対する実践的な代替手段として,線形再発が出現している。 しかし、その急速な出現にもかかわらず、これらのモデルではソフトマックスの注目よりも低精度の推論が発展していない。 プリフィルの間、チャンクワイズ並列アルゴリズムは再帰性の大部分を密度行列乗算として示し、低精度実行への自然な経路を示唆した。 しかし、これらの操作をそれらのネイティブな形で定量化することは、脆弱である。 本研究では,オペランドを量子化しやすいものにしつつ,完全精度の計算を保ちながら機能的不変性を同定する。 本稿では, 回転, 対角的再スケーリング, 再帰的減衰と書込み因子の代替配置を含む7つの不変性に基づく, 高精度再帰前処理のためのフレームワークLinQuantを紹介する。 これらの変換が、線形、ゲート、デルタルールの更新にまたがる一般的なリカレンスファミリーで有効であり続けると、低精度の精度を向上させるために相補的な自由度が得られることを示す。 最後に、Mamba-2用の既存の低精度プリフィルパイプラインであるSSDi8を、適用可能な不変量で拡張することにより、このフレームワークを本番環境に変換する。 LinQuantは、Mamba-2 1.3B、2.7B、および8BおよびNemotron-H 8Bで一致するレイテンシでのパープレキシティを改善し、リカレントモデルの不変量化の実用性を実証した。

関連論文リスト

• Relaxation-Informed Training of Neural Network Surrogate Models [3.9722979176564763]
  ReLUニューラルネットワーク訓練サロゲートモデルは、MILP(mixed-integer linear program)に正確に埋め込まれる。 結果として得られるMILPのトラクタビリティは、ネットワークの構造的特性に依存する。 提案した正規化器は, 最大4桁のMILP時間を非正規化ベースラインに短縮できることを示す。
  論文  参考訳（メタデータ） (2026-04-24T17:46:55Z)
• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation [0.0]
  コンテキスト対応低ランク近似は、現代の大規模ニューラルネットワークの圧縮と微調整に有用なツールである。 既存のニューラルネットワークの手法は、明示的なグラム行列計算とその後の反転を含む古典的な公式に依存しているため、数値的な不安定さに悩まされている。 本稿では, 完全に安定な分解を基礎として, 先行技術における数値的な落とし穴を克服する, 新たな逆フリー正規化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-10T09:35:22Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Exact Backpropagation in Binary Weighted Networks with Group Weight Transformations [0.0]
  量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。 重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
  論文  参考訳（メタデータ） (2021-07-03T10:29:34Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。