論文の概要: How Far Does Second-Order Linear Response Predict Quantization Mismatch? Pre-Registered Measurements on Five Language Models
- arxiv url: http://arxiv.org/abs/2611.12634v1
- Date: Mon, 09 Nov 2026 16:11:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.405133
- Title: How Far Does Second-Order Linear Response Predict Quantization Mismatch? Pre-Registered Measurements on Five Language Models
- Title(参考訳): 2次線形応答予測量子化ミスマッチはどこまであるか? : 5言語モデルによる事前登録計測
- Abstract要約: 低コストのスクリーンは、$tfrac12top F$を使用して、未定量モデルのFisher情報からKLのばらつきを予測する。
相対予測は16倍の範囲の摂動スケール、int4グループサイズ、ラウンドリングモードにまたがるが、絶対予測は重くなる。
目に見えないMistral-7B-v0.3ファミリーでは、6つの予測はすべてバンド内にあり、3つのKL予算が全て満たされ、vLLMスループットは0.4%以内に予測される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Serving systems choose a weight format for each model and deployment. A low-cost screen predicts the resulting KL divergence from the unquantized model's Fisher information using $\tfrac12Δ^\top FΔ$, the expansion underlying Hessian-aware and second-order post-training quantizers. We assess the reliability of this screen in GPU batches with channel-wise int8, per-tensor fp8 and group-wise int4 on Qwen3-8B, Qwen3-4B, OLMo-2-7B, Qwen3-32B and Qwen3-30B-A3B. Relative predictions hold across a 16-fold range of perturbation scales, int4 group sizes and rounding modes, while absolute predictions are heavy-tailed. A trimmed average brings 10 of 12 cells on Qwen3-4B and OLMo-2 within 15% of measured KL. The MoE model exhibits nonquadratic response at small perturbations, with int8 KL scaling as $α^{0.63}$. Computing per-sequence gradients in bf16 can cause fourfold prediction errors. We trace these errors to arithmetic in the lower half of the backward pass and eliminate them by using fp32 there. Batch-invariant kernels run at 0.55 times the throughput, while changes in reduction order introduce a floor of 0.17-0.22 nats per sequence. We build a screener with one streamed fp32 Fisher pass, trimmed tensor-block predictions with a band, a flag for aligned tensors and per-layer format allocation. On the unseen Mistral-7B-v0.3 family, all six predictions fall within the band, all three KL budgets are met, and vLLM throughput is predicted within 0.4%.
- Abstract(参考訳): サービングシステムは、各モデルとデプロイメントのウェイトフォーマットを選択する。
低コストのスクリーンは、不定値モデルのフィッシャー情報から生じるKLのばらつきを$\tfrac12Δ^\top FΔ$で予測する。
Qwen3-8B, Qwen3-4B, OLMo-2-7B, Qwen3-32B, Qwen3-30B-A3B のチャネルワイド int8, テンソル fp8, グループワイド int4 のGPUバッチにおけるこの画面の信頼性を評価する。
相対予測は16倍の範囲の摂動スケール、int4グループサイズ、ラウンドリングモードにまたがるが、絶対予測は重くなる。
トリミング平均は、測定されたKLの15%以内にQwen3-4BとOLMo-2の12細胞のうち10細胞をもたらす。
MoEモデルは小さな摂動で非二次応答を示し、int8 KLは$α^{0.63}$である。
bf16におけるシーケンス毎の勾配の計算は4倍の予測誤差を引き起こす。
我々はこれらの誤りを後方パスの下半分の算術にトレースし、そこでfp32を用いて除去する。
バッチ不変カーネルはスループットの0.55倍で動作し、リダクション順序の変化により1シーケンスあたりのフロアは0.17-0.22ナットとなる。
我々は、1つのストリームされたfp32フィッシャーパス、バンドによるテンソルブロック予測のトリミング、アライメントテンソルのフラグ、層ごとのフォーマット割り当てを備えたスクリーニング装置を構築した。
目に見えないMistral-7B-v0.3ファミリーでは、6つの予測はすべてバンド内にあり、3つのKL予算が全て満たされ、vLLMスループットは0.4%以内に予測される。
関連論文リスト
- Hinted Scaling Laws [67.408619744814]
スケーリング法則は、より小さく安価な実行からトレンドを外挿することで、大規模で高価なトレーニング実行の結果を予測する。
我々は、特権情報を使ってベンチマークをより簡単なバージョンの連続体に変換する、ヒント付きスケーリング法を導入します。
ノイズ閾値以下で動作する新しい種類のスケーリング法則を実現するため、ヒントレベルとともに精度がスムーズかつ予測的に上昇することを発見した。
論文 参考訳(メタデータ) (2026-11-01T22:50:43Z) - Your Transformer Is Secretly Elastic [46.417041776406414]
本研究では,事前学習したトランスフォーマーを1つのモデルに変形させるリトレーニングフリー手法を提案する。
22Mから8Bまでの27個のトランスエンコーダを用いて,スムーズな劣化率を最大60%まで生成する。
論文 参考訳(メタデータ) (2026-10-14T17:58:08Z) - How Divergence Becomes Decision Flips in Compressed Language Models [0.0]
我々は、KLではなく総変分が直接答えることを示した。
5つのコーパスと9つの機械的無関係な摂動ファミリーに19のオープンモデルの圧縮および摂動コピーが802を越えると、arg-maxトークンが変更される速度は、中央値の1.05ドルであり、不整合定数はない。
論文 参考訳(メタデータ) (2026-09-30T20:37:18Z) - Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。
同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。
実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
論文 参考訳(メタデータ) (2026-09-22T15:54:16Z) - A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。
4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。
信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
論文 参考訳(メタデータ) (2026-08-30T10:21:34Z) - Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。
3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。
精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
論文 参考訳(メタデータ) (2026-07-10T21:55:05Z) - Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。
最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
論文 参考訳(メタデータ) (2026-05-15T03:31:51Z) - Architectural Observability Collapse in Transformers [0.0]
トレーニングは、出力信頼が露呈しない内部的な意思決定品質のシグナルを保持します。
信頼制御は、平均60.3%の生プローブ信号を6つのファミリーの14モデルで吸収する。
Llama 3.1 8Bは、同じ32層、32頭、4096面の形状で崩壊する。
論文 参考訳(メタデータ) (2026-04-27T02:39:02Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳(メタデータ) (2025-10-23T14:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。