論文の概要: Component Type, Not Reconstruction Error, Predicts Attention Quantization Sensitivity
- arxiv url: http://arxiv.org/abs/2609.26173v1
- Date: Sun, 09 Aug 2026 19:29:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.911953
- Title: Component Type, Not Reconstruction Error, Predicts Attention Quantization Sensitivity
- Title（参考訳）: 成分型, 再構成誤差ではなく, 注意量子化感度を予測する
- Abstract要約: RTNの36例中27例において,再建誤差は難易度感受性の10%未満であることがわかった。
コンポーネントタイプとレイヤの同一性は、すべての9つのモデルにおいて、再構成エラーよりも多くのばらつきを説明する。
値(V)プロジェクションは、最も一般的に支配的なコンポーネントである。
アクティベーション重み付き量子化誤差は、特にV射影の再構成誤差よりも適度に優れた内部成分予測誤差である。
- 参考スコア（独自算出の注目度）: 1.0514231683620514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many post-training quantization (PTQ) methods use layer-wise reconstruction, second-order proxy objectives, or activation-aware transformations to reduce quantization-induced error. Whether that error signal predicts the downstream functional impact of quantizing an individual attention projection has not been directly characterized. We sweep nine open-weight language models (1.3B--8B parameters; OPT, GPT-J, LLaMA-1/2/3, Mistral, Qwen 2.5) and quantize one attention projection at a time under round-to-nearest (RTN) and, for seven models, GPTQ at 3 and 4 bits, recording reconstruction error, perplexity change, and per-projection activation-weighted quantization error for 3,808 distinct measurements. We find: (1) within a given component type (Q, K, V, or O), reconstruction error explains less than 10% of the variance in perplexity sensitivity in 27 of 36 cases under RTN, with median R^2 = 0.044; (2) both component type and layer identity explain more variance than reconstruction error in all 9 models, with layer identity the strongest predictor in 7 of 9 models and component type strongest in the remaining 2; (3) value (V) projections are the most commonly dominant component, accounting for 38--51% of total positive Delta PPL in seven of nine models; (4) the dominant component is broadly preserved between RTN and GPTQ (5 of 7 cases); and (5) activation-weighted quantization error is a moderately better within-component predictor than reconstruction error for V projections specifically (median R^2 of 0.20 vs. 0.06). These findings indicate that relative weight reconstruction error alone is insufficient for sensitivity-aware bit allocation, and that V projections merit dedicated consideration in mixed-precision schemes.
- Abstract（参考訳）: ポストトレーニング量子化(PTQ)法の多くは、層単位での再構成、第2次プロキシ目的、あるいはアクティベーション対応変換を用いて量子化による誤りを低減している。
そのエラー信号が個々の注意投影を定量化する下流機能への影響を予測するかどうかは、直接的に特徴付けられていない。
我々は9つのオープンウェイト言語モデル(1.3B--8Bパラメータ; OPT, GPT-J, LLaMA-1/2/3, Mistral, Qwen 2.5, Mistral, Qwen 2.5)を網羅し、ラウンド・トゥ・アレスト(RTN)の下で1つの注意投影を定量化する。
1) 所定の成分タイプ (Q, K, V, O) 内では, RTN 下の36例中27例において, パープレキシティ感度のばらつきの10%未満を再現誤差で説明し, 中央値 R^2 = 0.044 で, 2) 中央値 R^2 = 0.044 で, 構成型と層同一性ともに, 残りの9モデル中7モデルで最強の予測因子, 残りの2モデルで最強の成分タイプで説明し, (3) 値 (V) 投影は, 最大値 Delta PPL の38～51% を占めており, (4) 有効成分はRTN と GPTQ の間で広く保存されている(5例)。
これらの結果から, 相対重み復元誤差だけでは感度を考慮したビット割り当てには不十分であり, 混合精度スキームではV射影が専用に考慮されていることが示唆された。
関連論文リスト
- Hybrid Quantum-Classical NLP Classification with Compact Semantic Representations: An Experimental Analysis of Representation Compression [4.18874340076966]
大規模言語と文埋め込みモデルは、リッチな意味表現を提供するが、その高次元性は機械学習に挑戦する。
本研究では,高次元文埋め込みを変分量子分類のためのコンパクトな表現に変換するハイブリッド量子古典パイプラインについて検討する。
教師付き次元減少は、分散に基づく圧縮よりも、タスク関連情報をはるかに効果的に保存できることを示す。
論文 参考訳（メタデータ） (2026-09-09T12:09:50Z) - The Structure of Quantization Damage in LLMs: Why the Next Bit Should Be Spent Globally [0.0]
後学習量子化(PTQ)は、大規模言語モデル(LLM)を提供するコストを削減するために広く用いられている。
我々は、量子化の損傷の発生源と、小さな追加の精度予算の配分方法について検討する。
論文 参考訳（メタデータ） (2026-09-01T17:53:41Z) - Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models [0.0]
すべてのレイヤの離散コードとスケールに対する共同最適化として量子化を定式化する。
FP16教師に対して,誤差補償のみのパープレキシティ比が9.56+/-0.15に達することを示す。
Qwen2.5-1.5B で 1.125 ビットのグループバイナリの重みを持つ場合、誤差補償だけで FP16 の教師に対して 9.56 +/- 0.15 のパープレキシティ比に達する。
論文 参考訳（メタデータ） (2026-07-16T06:47:52Z) - RUQuant: Towards Refining Uniform Quantization for Large Language Models [17.258420059228808]
ポストトレーニング量子化(PTQ)は、再トレーニングを必要とせずにモデルを圧縮することで、実用的なソリューションとして登場した。
既存の方法は、アクティベーション分布の非一様性により、かなりの精度の劣化に悩まされることが多い。
本研究では,ロイド-マックス最適条件に基づく理論的な観点から,活性化量子化問題を再考する。
論文 参考訳（メタデータ） (2026-04-05T08:04:39Z) - Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations [2.7946918847372277]
大規模言語モデルは、数学的推論ベンチマークにおいて強い性能を示すが、意味を保存する表面摂動に対して驚くほど脆弱である。
我々は677 GSM8K問題に対して,3つのオープンウェイトLLM(Mistral-7B,Llama-3-8B,Qwen2.5-7B)を意味論的に等価な変種と組み合わせて評価した。
3つのモデルはいずれも相当な解答フリップ率(28.8%-45.1%)を示し、数字のパラフレーズは名前スワップよりも一貫して破壊的である。
論文 参考訳（メタデータ） (2026-04-02T05:30:20Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。
合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善
DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
論文 参考訳（メタデータ） (2026-02-03T23:38:05Z) - Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。
また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。
我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
論文 参考訳（メタデータ） (2024-11-05T12:26:25Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳（メタデータ） (2024-10-12T08:10:28Z) - Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。
現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。
本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
論文 参考訳（メタデータ） (2024-07-09T12:06:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。