Fugu-MT 論文翻訳(概要): REAL-Q: E2E LLM Quantization via Dynamic Gradient Descent

論文の概要: REAL-Q: E2E LLM Quantization via Dynamic Gradient Descent

arxiv url: http://arxiv.org/abs/2609.00049v1
Date: Sun, 30 Aug 2026 06:30:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-02 16:31:35.778097
Title: REAL-Q: E2E LLM Quantization via Dynamic Gradient Descent
Title（参考訳）: REAL-Q:ダイナミックグラディエント蛍光によるE2E LLM量子化
Abstract要約: 訓練後の量子化(PTQ)は、厳しいリソース制約下での大規模言語モデル(LLM)のデプロイに不可欠である。本稿では、この妥協を破る新しいPTQパラダイムであるREAL-Q(Real-time E2E-loss Aligned LLM Quantization)を提案する。 W4A16のLLaMA-3.1とQwen3(0.6B-32B)では、REAL-Qは最先端のグローバル誘導方式と比較して、エンドツーエンドのKLの発散を最大49%減少させる。
参考スコア（独自算出の注目度）: 12.963839117543408
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Post-training quantization (PTQ) is essential for deploying large language models (LLMs) under strict resource constraints. State-of-the-art PTQ methods quantize each layer with a single closed-form second-order solver: to remain analytically tractable, they heavily approximate the global loss (dropping cross-channel coupling, pooling output rows into groups), and they then freeze the resulting Hessian across the entire layer, with no way to refresh it as the loss landscape shifts column by column--a phenomenon we call information misalignment. We propose REAL-Q (Real-time E2E-loss Aligned LLM Quantization), a novel PTQ paradigm that breaks this compromise: instead of diluting the objective for the sake of analytic tractability, REAL-Q targets an end-to-end-aligned surrogate of the global loss and refines it via fine-grained, dynamic Block-wise Gradient Descent applied after every column block (128 columns). By coupling this fine-grained correction with a sliding window mechanism for smooth cross-layer transitions, REAL-Q effectively mitigates error propagation across the network. On LLaMA-3.1 (8B and 70B) and Qwen3 (0.6B-32B) at W4A16, REAL-Q reduces end-to-end KL divergence by up to ~49% relative to state-of-the-art globally-guided methods.
Abstract（参考訳）: 訓練後の量子化(PTQ)は、厳しいリソース制約下での大規模言語モデル(LLM)のデプロイに不可欠である。最先端のPTQ法は、各層を1つの閉形式2階解法で定量化し、解析的に抽出可能でありながら、大域的損失(クロスチャネル結合をドロップし、出力行をグループにプールする)を強く近似し、その結果ヘッセンを層全体に凍結し、損失ランドスケープが列によってカラムをシフトするので、それをリフレッシュすることができない。この妥協を破る新しいPTQパラダイムであるREAL-Q(Real-time E2E-loss Aligned LLM Quantization)を提案する。この微細な補正をスムーズな層間遷移のためのスライディングウィンドウ機構と結合することにより、REAL-Qはネットワーク間のエラー伝搬を効果的に軽減する。 LLaMA-3.1 (8Bと70B) と Qwen3 (0.6B-32B) の W4A16 では、REAL-Q は最先端の KL の分岐を、最先端のグローバル誘導方式と比較して最大49%削減する。

関連論文リスト

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。 5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
論文参考訳（メタデータ） (2026-08-25T19:01:58Z)
Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。 Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
論文参考訳（メタデータ） (2026-06-11T17:48:38Z)
Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文参考訳（メタデータ） (2026-06-05T14:00:47Z)
LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
論文参考訳（メタデータ） (2026-05-28T11:02:23Z)
Attention Residuals [38.59138244826294]
PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。本稿では,アテンション残余(AttnRes)を提案する。
論文参考訳（メタデータ） (2026-03-16T09:32:21Z)
FLRQ: Faster LLM Quantization with Flexible Low-Rank Matrix Sketching [4.01326804806241]
Rank1-Sketch-based Flexible Rank Selection (R1-FLR) と Best Low-rank Approximation under Clipping (BLC) を導入する。 R1-FLRは高速な低ランク近似のためにガウス射影を持つR1-Sketchを適用し、各層に対して外向きのランク抽出を可能にする。 BLCは、スケーリングとクリッピング戦略の下での低ランク量子化誤差の最小化を目的としている。
論文参考訳（メタデータ） (2026-01-09T10:06:45Z)
PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文参考訳（メタデータ） (2025-09-27T03:01:48Z)
Model-Preserving Adaptive Rounding [27.155444001204632]
しかし、別の量子化アルゴリズム (YAQA) は適応的なラウンドリングアルゴリズムであり、ネットワークの出力の誤差を直接考慮している。 YAQA は GPTQ/LDLQ よりも有効に優れており,これらの手法よりも$approx 30% の誤差を経験的に低減できることを示す。
論文参考訳（メタデータ） (2025-05-29T01:53:00Z)
Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
論文参考訳（メタデータ） (2025-05-08T00:08:31Z)
Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
論文参考訳（メタデータ） (2024-11-26T15:35:44Z)
CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。