論文の概要: Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models

• arxiv url: http://arxiv.org/abs/2607.14630v1
• Date: Thu, 16 Jul 2026 06:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.016109
• Title: Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models
• Title（参考訳）: 大規模言語モデルの極低ビット量子化のためのクロスレイア誤差補償と有限サンプル特徴量マッチング
• Abstract要約: すべてのレイヤの離散コードとスケールに対する共同最適化として量子化を定式化する。 FP16教師に対して,誤差補償のみのパープレキシティ比が9.56+/-0.15に達することを示す。 Qwen2.5-1.5B で 1.125 ビットのグループバイナリの重みを持つ場合、誤差補償だけで FP16 の教師に対して 9.56 +/- 0.15 のパープレキシティ比に達する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Layer-wise post-training quantization of large language models minimizes each layer's reconstruction error in isolation, allowing quantization errors to accumulate across depth and causing severe degradation in extreme low-bit regimes. We formulate quantization as a joint optimization over the discrete codes and scales of all layers, driven by two mechanisms: (i) cross-layer error compensation, which maintains the network-level accumulated error through the recursion e_{l+1} = A_l e_l + q_l, with a propagation operator A_l derived from the layer's input differential and a local quantization residual q_l evaluated at teacher features; and (ii) finite-sample feature-statistics matching, which aligns means, projected covariances, and centered empirical kernels between the full-precision and quantized networks under relative normalization. We prove that instantiating the propagation operator as a finite difference of the quantized network makes the recursion exact for arbitrary nonlinear layers, enabling an efficient forward-difference implementation. Binary weights are optimized via a mirror-descent parameterization u = tanh(beta*z) with annealed inverse temperature and group-wise log-scales. On Qwen2.5-1.5B with 1.125-bit group-binary weights, error compensation alone reaches a perplexity ratio of 9.56 +/- 0.15 over the FP16 teacher, outperforming logit distillation (14.09 +/- 0.53; 32 percent relative, more than 8 sigma over 3 seeds) and layer-local reconstruction by two orders of magnitude. The same objective transfers unchanged to 4-bit quantization (1.060 vs. 1.088 for layer-local). Out-of-domain evaluations (C4, CNN/DailyMail) show the advantage of error compensation grows off-domain, while statistics matching keeps feature-statistics discrepancy low off-domain (0.42-0.88 vs. 1.41-2.99 without it), revealing a complementary division of labor between the two mechanisms.
• Abstract（参考訳）: 大規模言語モデルのレイヤーワイズ後量子化は、分離されたレイヤの再構成エラーを最小限に抑え、量子化エラーが深さにわたって蓄積され、極端な低ビット状態において深刻な劣化を引き起こす。 我々は、各層の離散コードとスケールに対する共同最適化として量子化を定式化し、2つのメカニズムで駆動する。 (i)再帰 e_{l+1} = A_l e_l + q_l によるネットワークレベルの累積誤差を維持するクロス層誤差補償であって、このレイヤの入力微分から導出される伝搬演算子 A_l と教師の特性で評価された局所量子化残差 q_l とを有する。 (II)有限サンプル特徴統計マッチングは、相対正規化の下での完全精度と量子化されたネットワーク間の平均、射影共分散、および中心化された経験核を整列する。 我々は、伝播演算子を量子化ネットワークの有限差分としてインスタンス化することで、任意の非線形層に対して再帰を正確にし、効率的な前方差分実装を可能にすることを証明した。 双対重みは、鏡偏光パラメータ化 u = tanh(beta*z) によって、熱処理された逆温度とグループ単位の対数スケールで最適化される。 Qwen2.5-1.5B の1.125ビットの群-双対重みでは、誤差補償だけで FP16 教師に対して 9.56 +/- 0.15 の難易度比に達し、ロジット蒸留(14.09 +/- 0.53; 32%、相対的に8シグマ以上、3種以上)、層局所再構築を2桁ずつ行う。 同じ目的は4ビット量子化(レイヤローカルでは1.060対1.088)に変化しない。 ドメイン外評価(C4, CNN/DailyMail)は、エラー補償の利点がドメイン外で増大する一方、統計マッチングは機能統計の差を低く保ち(0.42-0.88 vs. 1.41-2.99)、2つのメカニズム間の相補的な分断を明らかにしている。

関連論文リスト

• Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
  大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。 本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。 我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。 スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
  論文  参考訳（メタデータ） (2026-08-25T15:07:11Z)
• Multi-Stage Mamba-Based Architecture for Fast and Scalable Superconducting Qubit Readout [2.7180447022087932]
  超伝導量子プロセッサでは、リードアウト演算はエラーを起こしやすく、高レイテンシである。 Mambaモデルに基づく多段量子状態判別器を提案する。 本モデルでは, 平均読み出し精度が0.906であり, 最良報告の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-07-13T15:12:07Z)
• SPARC-Net: A Spectral, Causality-Aware, and Hard-Constrained Physics-Informed Architecture for Stiff and Shock-Dominated Partial Differential Equations [0.0654051537828115]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を解くためのメッシュレスアプローチを提供する PINNは、小さなPDE残基が世界規模で不正確な解に対応できる、硬度および衝撃に支配された問題において深刻な劣化を被る。 これらの障害は, (i) スペクトルバイアスと鋭い特徴との同時的相互作用, (ii) 不均衡な多重時間最適化と損失重大崩壊, (iii) 時間的因果性違反, (iv) 未解決のコロケーションから生じる多因果性を示す。 統合アーキテクチャとトレーニングの現在-Net
  論文  参考訳（メタデータ） (2026-07-13T09:23:17Z)
• Direct/adaptive-mixture phase-gradient learning for neural-network quantum states with complex phase structure [3.1413021865737765]
  推定器の設計は、複雑な神経量子状態のための第一級レバーとして現れる。 我々は、この方法でトレーニングされた小さなネットワークが、標準ベースライン高原を1.8%の価格で調整した、0.89%の中央値エラーに達したことを示す。 直接推定器は再び標準値よりも著しく低い誤差に収束し、$$と size となる。
  論文  参考訳（メタデータ） (2026-06-11T21:05:28Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• RUQuant: Towards Refining Uniform Quantization for Large Language Models [17.258420059228808]
  ポストトレーニング量子化(PTQ)は、再トレーニングを必要とせずにモデルを圧縮することで、実用的なソリューションとして登場した。 既存の方法は、アクティベーション分布の非一様性により、かなりの精度の劣化に悩まされることが多い。 本研究では,ロイド-マックス最適条件に基づく理論的な観点から,活性化量子化問題を再考する。
  論文  参考訳（メタデータ） (2026-04-05T08:04:39Z)
• RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs [5.782015253162346]
  残留バイナライゼーションは、バイナリ層を積み重ねることで、マットルフリーな推論を可能にする。 本稿では,残差階層をアルゴリズム的に強制することでコダプタ化を解決する新しい量子化フレームワークであるRaBiTを提案する。 RaBiTは最先端のパフォーマンスを実現し、ハードウェア集約型ベクトル量子化(VQ)の手法と競合する。
  論文  参考訳（メタデータ） (2026-02-05T06:41:11Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
  本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。 合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善 DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
  論文  参考訳（メタデータ） (2026-02-03T23:38:05Z)
• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。