論文の概要: The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs

• arxiv url: http://arxiv.org/abs/2607.08734v1
• Date: Thu, 09 Jul 2026 17:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.612911
• Title: The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs
• Title（参考訳）: 等価性のイリュージョン:LLMにおける量子化効果の統計的評価
• Abstract要約: トレーニング後の量子化は、リソース制約のある設定で大規模言語モデルをデプロイするために広く利用されている。 これらの指標は量子化によって引き起こされる行動変化を捉えるのに失敗することを示す。 ベースモデルとその量子化変量の間の正確な予測の重なりを計測する決定レベルの尺度である正当性合意を導入する。
• 参考スコア（独自算出の注目度）: 5.849736173068869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization is widely used to deploy large language models in resource-constrained settings, yet its evaluation relies almost exclusively on accuracy and perplexity. We show that these metrics fail to capture behavioral changes induced by quantization. We introduce correctness agreement, a decision-level metric that measures overlap in correct predictions between a base model and its quantized variants, independent of absolute accuracy. Across multiple models and quantization schemes from 8-bit to 2-bit, we find that behavioral divergence emerges under moderate quantization even when task performance appears preserved. To explain this effect, we analyze quantization as a structural operator on attention weights and quantify layer-wise distortions using statistical and distributional measures. Our results reveal non-linear breakpoints at low bit-widths and show that query and key projections are consistently more sensitive than value and output projections. These findings expose an illusion of equivalence between base and quantized models and motivate behavioral evaluation beyond conventional performance metrics.
• Abstract（参考訳）: トレーニング後の量子化は、リソース制約のある設定で大規模言語モデルをデプロイするために広く使われているが、その評価はほとんど正確さと難易度に依存している。 これらの指標は量子化によって引き起こされる行動変化を捉えるのに失敗することを示す。 本稿では,基本モデルとその量子化変種間の正確な予測の重なりを絶対精度によらずに測定する決定レベルの尺度である正当性合意を導入する。 8-bitから2-bitまでの複数のモデルと量子化スキームにまたがって,タスク性能が保たれた場合でも,振舞いのばらつきが適度な量子化の下で生じることが判明した。 この効果を説明するために、注意重みに関する構造演算子としての量子化を解析し、統計的および分布的測度を用いて層次歪みを定量化する。 その結果、低ビット幅での非線形ブレークポイントが明らかとなり、クエリおよびキープロジェクションは、値および出力プロジェクションよりも一貫して感度が高いことを示す。 これらの結果は、ベースモデルと量子化モデルとの等価性の錯覚を露呈し、従来の性能指標を超える行動評価を動機付けている。

関連論文リスト

• Accuracy is Not Enough: A Divergence-Based Approach to Evaluate Fidelity Loss in Quantized LLMs [13.897073114465094]
  メモリ制約エッジデバイスへのLLM(Large Language Models)の展開は、攻撃的なポストトレーニング量子化に大きく依存する。 本稿では,LLMにおける情報損失を定量化する分散感性評価フレームワークを提案する。 我々は、BF16基準に対する確率質量変位と分布のドリフトを定量化し、トップ1の精度に反映されない予測分布の変化を捉える。
  論文  参考訳（メタデータ） (2026-09-07T15:49:52Z)
• Quantization Degradation in Large Language Models: A Signal-Noise Perspective [31.171218460791483]
  我々は,ビット幅,量子化法,モデルスケール,ダウンストリームタスクにまたがる重みのみのポストトレーニング量子化を体系的に研究する。 このような劣化はこれらの要因によって大きく異なる。 我々は、信号対雑音比(SNR)を用いて、量子化の摂動がフル精度表現をどのように強固に行うかを測定する。
  論文  参考訳（メタデータ） (2026-08-08T15:28:45Z)
• Reliability Scaling Laws for Quantized Large Language Models [68.39028482878265]
  量子化は、パラメータのビット幅を小さくすることで、有能でリソース効率のよい大規模言語モデル(LLM)を構築するための戦略である。 まず,3つの鍵成分からなる量子化LDMの総合的信頼性評価を行う。 信頼性ピークは4ビットの量子化モデルに対して発生し、適度なサイズのモデルの量子化が最良の信頼性と効率のトレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-07-12T17:39:09Z)
• Scaling Laws for Precision in High-Dimensional Linear Regression [38.87908801454087]
  本研究では,高次元スケッチ化線形回帰フレームワークにおける低精度トレーニングのためのスケーリング法則について検討する。 乗法および加法量子化を解析することにより、スケーリング行動における臨界二分法を同定する。 本研究は,実際のハードウェア制約下でのトレーニングプロトコルの最適化に関する理論的基礎を提供する。
  論文  参考訳（メタデータ） (2026-02-22T15:51:29Z)
• Explaining How Quantization Disparately Skews a Model [8.210473195536077]
  ポストトレーニング量子化(PTQ)は、圧縮容量と速度が正確性に最小限の影響を受け、広く採用されている。 特にマイノリティグループでは, 量子化によって異なる影響が増すことが観察された。 量子化によって引き起こされる重みや活性化の変化がネットワークのカスケード的な影響をいかに引き起こし、より分散度が低く、損失が増大し、グループ精度が損なわれるかを検討する。
  論文  参考訳（メタデータ） (2025-09-08T21:04:16Z)
• How Quantization Shapes Bias in Large Language Models [61.40435736418359]
  重みとアクティベーションの定量化戦略に焦点をあて、幅広いバイアスタイプにまたがる効果について検討する。 確率的および生成されたテキストベースのメトリクスを9つのベンチマークで使用し、アーキテクチャファミリや推論能力の異なるモデルを評価する。
  論文  参考訳（メタデータ） (2025-08-25T14:48:26Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• When Quantization Affects Confidence of Large Language Models? [4.338589334157708]
  GPTQから4ビットへの変換は,言語モデルによって異なる影響で,真のラベルに対する信頼度を低下させることを示す。 本稿では,信頼度に基づく量子化損失の説明を行い,まず,完全モデルが信頼度が低いサンプルに対して,量子化が不均等に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-01T16:58:28Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• An Investigation on Different Underlying Quantization Schemes for Pre-trained Language Models [33.49417100179159]
  我々はk平均量子化を実装し、BERTの固定精度量子化と線形量子化の性能を比較する。 また、ALBERTモデル上の2つの量子化スキームを比較し、異なる事前学習モデル間のロバスト性差を探索する。
  論文  参考訳（メタデータ） (2020-10-14T14:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。