Fugu-MT 論文翻訳(概要): ResCom: Activation Residual Compensation for Large Language Model Quantization

論文の概要: ResCom: Activation Residual Compensation for Large Language Model Quantization

arxiv url: http://arxiv.org/abs/2610.35955v1
Date: Sun, 25 Oct 2026 03:02:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-28 21:04:31.370586
Title: ResCom: Activation Residual Compensation for Large Language Model Quantization
Title（参考訳）: ResCom:大規模言語モデル量子化のためのアクティベーション残差補償
Abstract要約: 本稿では,活性化ラウンドリング残差を用いた低ランク補正であるResComを提案し,その結果の層出力誤差を補償する。 4ビットの重量とアクティベーションを持つLlama-3-8Bでは、ランク32の注意補正によりWikiText-2の難易度は7.708から7.147に減少し、MMLUを2.89ポイント改善し、5ショットのGSM8Kの精度は23.96から36.16パーセント向上した。
参考スコア（独自算出の注目度）: 4.81802644084206
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-bit weight--activation quantization reduces the memory and computation needed to deploy large language models, but activation rounding can still degrade accuracy after calibration. Reconstruction from rounded inputs cannot distinguish activations within the same quantization bin. We propose ResCom, a low-rank correction that uses the activation rounding residual to compensate for the resulting layer-output error. An output-aware calibration procedure selects residual directions by their contribution to output reconstruction and computes the correction in closed form, without gradient training or updates to the calibrated weights. On Llama-3-8B with 4-bit weights and activations, rank-32 attention corrections reduce WikiText-2 perplexity from 7.708 to 7.147, improve MMLU by 2.89 percentage points, and raise five-shot GSM8K accuracy from 23.96 to 36.16 percent. Evaluations on models from 1B to 70B parameters and on held-out C4 test the method beyond this setting. The evaluated FP32 implementation adds 2.25 percent to 4K prefill time; a separate compact-storage implementation retains a 27.7 percent peak-memory reduction relative to FP16.
Abstract（参考訳）: 低ビットの重み-アクティベーション量子化は、大きな言語モデルをデプロイするために必要なメモリと計算量を減らすが、アクティベーションラウンドリングは校正後の精度を低下させる。丸められた入力からの再構成は、同じ量子化ビン内でのアクティベーションを区別できない。本稿では,活性化ラウンドリング残差を用いた低ランク補正であるResComを提案し,その結果の層出力誤差を補償する。出力対応校正手順は、出力再構成への貢献により残留方向を選択し、勾配トレーニングや校正重量の更新を伴わずに、クローズドフォームで補正を算出する。 4ビットの重量とアクティベーションを持つLlama-3-8Bでは、ランク32の注意補正によりWikiText-2の難易度は7.708から7.147に減少し、MMLUを2.89ポイント改善し、5ショットのGSM8Kの精度は23.96から36.16パーセント向上した。 1Bから70BパラメータのモデルとホールドアウトしたC4の評価は、この設定を超える方法をテストする。評価済みのFP32実装は4Kプリフィル時間に2.25%増加し、FP16と比較して27.7%のピークメモリ削減を保っている。

関連論文リスト

DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs [3.0583214514538084]
重み再構成平均正方形誤差(MSE)を直接最小化する2次元キャリブレーションフリーポストトレーニング量子化フレームワークを提案する。我々のキーとなる観察は、ウェイト・リコンストラクション・エラーによって得られたスケーリング要因が効果的なアクティベーション・リスケーリングを提供し、競争力のあるアクティベーション・量子化を可能にすることである。結果として実現された実装は、BF16上で最大2.61倍のメモリ削減と2.46倍のスピードアップを実現しながら、フェイク量子化の精度と密接に一致している。
論文参考訳（メタデータ） (2026-10-09T15:51:38Z)
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。 STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。 5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
論文参考訳（メタデータ） (2026-09-29T17:59:40Z)
Scaling Post-Training Ternarisation to Qwen3-8B Capability Retention, Reproduction, Lossless Packing, and Packed Execution [0.0]
本研究では,Qwen3-4BからQwen3-8Bへのアグレッシブ後変換パイプラインのスケールアップについて検討する。この変換では、KOTMS回転、E2M-ATQ適応三元化、重量のみのA16構成でのGPTQスタイルの誤り補償が使用される。
論文参考訳（メタデータ） (2026-09-08T06:21:44Z)
Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。 KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
論文参考訳（メタデータ） (2026-09-02T00:42:54Z)
QuaSAR: Quantization Compensation via Stable Activation-Aware Rank Truncation [0.0]
閉形残差補償によるモデル精度の復元低ビットW4A4設定では、このゲーティング機構は数値解法故障と予測不可能な量子化誤差を区別できない。逆転前の崩壊方向を除去するパラメータフリーな逆解法を提案する。
論文参考訳（メタデータ） (2026-08-14T10:00:36Z)
BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文参考訳（メタデータ） (2026-02-04T02:54:37Z)
Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文参考訳（メタデータ） (2025-05-01T06:47:45Z)
Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
論文参考訳（メタデータ） (2025-04-10T02:19:03Z)
QUAD: Quantization and Parameter-Efficient Tuning of LLM with Activation Decomposition [21.13478769431063]
QUID(Quantization with Activation Decomposition)は、Singular Value Decomposition(SVD)を利用して、有効4ビット量子化のためのアクティベーションアウトリアを抑制するフレームワークである。 W4A4の量子化では94パーセントの精度、W4A4/A8では98%の精度、Llama-3およびQwen-2.5モデルのパラメータ効率の微調整を実現している。
論文参考訳（メタデータ） (2025-03-25T05:03:56Z)
SpinQuant: LLM quantization with learned rotations [49.07335692298487]
重み、アクティベーション、KVキャッシュに適用された後トレーニング量子化(PTQ)技術は、大規模言語モデル(LLM)のメモリ使用量、レイテンシ、消費電力を大幅に削減する。我々は、量子化精度を高めつつ、完全精度のトランスフォーマーアーキテクチャにおいて同一の出力をもたらす、適用可能な回転パラメータ化の集合を同定する。本研究では,学習した回転行列を最適な量子化ネットワーク精度に組み込む新しい手法であるSpinQuantを提案する。
論文参考訳（メタデータ） (2024-05-26T02:15:49Z)
Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文参考訳（メタデータ） (2023-01-31T02:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。