論文の概要: ShamAN-Q: Shampoo Augmented NanoQuant for Sub-1-bit LLM Weights

• arxiv url: http://arxiv.org/abs/2609.38521v1
• Date: Tue, 29 Sep 2026 20:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.721181
• Title: ShamAN-Q: Shampoo Augmented NanoQuant for Sub-1-bit LLM Weights
• Title（参考訳）: ShamAN-Q:サブ-1ビットLLM用シャンプー強化ナノ量子
• Abstract要約: ShamAN-QはNanoQuantを拡張し、それぞれの対角線再構成をトラクタブルな密度曲率幾何学に置き換える。 ShamAN-QはKronecker積をKullback-Leiblerによって設定された小さなキャリブレーションの経験的フィッシャー情報行列に適合させる。 曲率は与えられた重みの集合に局所であるため、ShamAN-Qは各層に対する入力曲率統計量を再測定する。
• 参考スコア（独自算出の注目度）: 2.1799603876386127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce ShamAN-Q, a sub-1-bit post-training quantization method that extends NanoQuant by replacing each its diagonal reconstruction geometry with a tractable dense curvature metric, using a general paradigm popularized by the Shampoo optimizer. For each linear weight, ShamAN-Q fits a Kronecker product to the empirical Fisher information matrix of a small calibration set by Kullback--Leibler minimization, forming a Mahalanobis reconstruction loss from the result. The continuous ADMM updates from NanoQuant become solutions to Sylvester equations, while its discrete projection and deployment format remain unchanged. Because the curvature is local to a given set of weights, ShamAN-Q re-measures the input curvature statistic for each layer immediately before layer factorization, periodically refreshing all statistics on the partially quantized model. ShamAN-Q also redistributes the uniform rank from NanoQuant across layers at the same total number of bits. On Qwen3-Base, ShamAN-Q lowers WikiText-2 perplexity at $\approx$1 bpw from 27.56 to 22.96 (0.6B), 19.21 to 16.72 (1.7B), and 14.29 to 13.80 (4B) while matching or improving zero-shot accuracy on the Eleuther LM Evaluation Harness. On 0.6B, ShamAN-Q at $\approx$0.8 bpw matches the published perplexity of NanoQuant at $\approx$1.0 bpw.
• Abstract（参考訳）: 本稿では,Shmpooオプティマイザが一般化した一般的なパラダイムを用いて,それぞれの対角線再構成幾何をトラクタブルな高次曲率計量に置き換えることで,NanoQuantを拡張したサブ-1ビットポストトレーニング量子化手法であるShamAN-Qを紹介する。 それぞれの線形重みについて、ShamAN-Q は Kronecker 積をKullback--Leibler の最小化によって設定された小さなキャリブレーションの経験的フィッシャー情報行列に適合させ、その結果からマハラノビスの再構成損失を形成する。 NanoQuantからの連続ADMM更新はSylvester方程式の解となり、離散的なプロジェクションとデプロイメントフォーマットは変わっていない。 曲線は与えられた重みの集合に局所であるため、ShamAN-Qは層分解の直前に各層の入力曲率統計を再測定し、部分量子化モデルに関する全ての統計を定期的に更新する。 ShamAN-Qは、NanoQuantから同じビット数の層にまたがって均一なランクを再分類する。 Qwen3-Baseでは、ShamAN-QはWikiText-2の難易度を$\approx$1 bpwで27.56から22.96 (0.6B)、19.21から16.72 (1.7B)、14.29から13.80 (4B)で下げ、Eleuther LMアセスメント・ハーネスのゼロショット精度を向上した。 0.6B では、ShamAN-Q at $\approx$0.8 bpw は、NanoQuant の公表された難解度 $\approx$1.0 bpw と一致する。

関連論文リスト

• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
  本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
  論文  参考訳（メタデータ） (2026-09-29T17:59:34Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• AXELRAM: Quantize Once, Never Dequantize [0.0]
  AXELRAMは、量子化されたKVキャッシュインデックスから直接注目スコアを算出する。 我々は,根本原因をレイヤーワイド標準に追従し,ハードウェアコストゼロの破滅的なスパイクを排除した勾配のない符号パターン選択(200の候補,8のキャリブレーションサンプル,1回)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:03:38Z)
• Layer-wise QUBO-Based Training of CNN Classifiers for Quantum Annealing [0.0]
  本稿では,畳み込みニューラルネットワーク(CNN)の頭部を学習するための,擬似Un Binary Optimization(QUBO)に基づく反復的フレームワークを提案する。 出力毎の分解は、$C$クラス問題を$C$独立QUBOに分割し、それぞれ$(d+1)K$バイナリ変数で、$d$が特徴次元、$K$がビット精度で分割する。 我々は,6つの画像分類ベンチマーク(スコーンディジット,MNIST,Fashion-MNIST,CIFAR-10,EMNIST,KMNIST)の評価を行った。
  論文  参考訳（メタデータ） (2026-03-03T13:10:36Z)
• Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs [6.571619511143774]
  量子化エラー再構成(QER)は、量子化エラーを再現するためにランク=$r$の補正を用いて、重量を$mathbfW approx mathbfQ + mathbfLmathbfR$と近似することで、PTQ(Post-Training Quantization)の精度損失を低減する。 SRR(Structured Residual Residual Restruction)は、量子化前のアクティベーションスケールウェイトのトップ$k$特異部分空間を保存し、残余のみを量子化し、残余を$rとするランク割り当てフレームワークである。
  論文  参考訳（メタデータ） (2026-02-02T12:02:21Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。