論文の概要: The Noise Floor of a Quantization Comparison: Engine, restart, batch and kernel drift, measured against 8-bit and 4-bit effects in two decision models
- arxiv url: http://arxiv.org/abs/2611.15671v1
- Date: Wed, 11 Nov 2026 16:15:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.194307
- Title: The Noise Floor of a Quantization Comparison: Engine, restart, batch and kernel drift, measured against 8-bit and 4-bit effects in two decision models
- Title(参考訳): 量子化比較のノイズフロア:2つの決定モデルにおける8ビットと4ビットの効果の測定、エンジン、再起動、バッチおよびカーネルドリフト
- Abstract要約: これらのソースのそれぞれが、Cloudflareの2つの決定モデルについて、同じ2400の公開決定に基づいて測定します。
コード、量子化のレシピ、レコードごとの出力、事前登録をリリースします。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A quantized model is usually judged by comparing it with its BF16 original, but that comparison changes more than the weights. It often changes the serving engine, it always runs on a different server instance, it may change how requests are batched, and on some stacks the library selects a different kernel depending only on which packages import. We measure each of these sources on the same 2,400 public decisions for two of Cloudflare's decision models, Clef-flash (9B) and Clef (27B), on an NVIDIA GB10, and state every quantization effect as the excess over them. Sources that are not quantization move between 0 and 0.92% of decisions. llama.cpp restarts are bit-identical on every record for both models. vLLM restarts flip 0, 5 and 20 decisions at BF16, FP8 and NVFP4 on Clef-flash and 4, 0 and 22 on Clef; a third instance of Clef's quantized builds (exploratory) leaves FP8 at 0 and puts NVFP4 at 4 to 22, depending on which two instances are compared. An engine change at BF16 flips 6 to 16, a batch-size change 8 to 15, and the Gated DeltaNet kernel transformers selects unasked 10 to 14. Quantization inside one engine moves more: for Clef-flash and Clef, 0.88% and 1.04% at Q8_0, 2.12% and 1.62% at FP8, 5.79% and 3.50% at Q4_K_M, and 5.79% and 5.67% at NVFP4. On both models, every 4-bit interval excludes every non-quantization source. Two of our five pre-registered predictions failed, and the same two fail when the tests are rerun on the 27B: FP8 is not inside restart noise, and changing engine moves fewer decisions than 8-bit quantization does. Accuracy hides most of this. Over the full 31,275 public questions, Clef's Q4_K_M build moves accuracy by a net six questions (-0.02 points [-0.20, +0.16]) while 436 of its decisions get worse (exploratory), and NVFP4 costs Clef-flash 0.95 points and Clef 0.65. We release the code, quantization recipes, per-record outputs and the pre-registration.
- Abstract(参考訳): 量子化されたモデルは通常、BF16のオリジナルと比較することによって判断されるが、その比較は重量よりも大きく変化する。
サービスエンジンを頻繁に変更し、常に別のサーバインスタンス上で動作し、リクエストのバッチ方法を変え、あるスタックではライブラリがどのパッケージをインポートするかによって異なるカーネルを選択する。
これらのソースのそれぞれが、Cloudflareの2つの決定モデルであるClef-flash(9B)とClef(27B)について、NVIDIA GB10で同じ2,400の公開決定に基づいて測定し、そのオーバーオーバとして、すべての量子化効果をステートする。
量子化しないソースは0から0.92%の意思決定を移動する。
llama.cpp 再起動は両方のモデルでレコードごとにビット識別される。
vLLMは、BF16、FP8、NVFP4で、Clef-flashで0、FP8、NVFP4で4、Clefで4、0、22でリスタートする。
BF16のエンジン変更は6から16に、バッチサイズ変更8から15に、Gated DeltaNetカーネル変換器は10から14に選択される。
Clef-flashとClefでは、Q8_0では0.88%と1.04%、FP8では2.12%と1.62%、Q4_K_Mでは5.79%と3.50%、NVFP4では5.79%と5.67%である。
両方のモデルにおいて、各4ビット間隔は全ての非量子化源を除外する。
5つの事前登録された予測のうち2つは失敗し、同じ2つはテストが27Bで再実行されたときに失敗します。
正確さはこのほとんどを隠している。
31,275の公開質問に対して、ClefのQ4_K_Mビルドは6つの質問(-0.02ポイント[-0.20, +0.16])で正確さを保ち、436の判断はより悪くなり(探索)、NVFP4はClef-flash 0.95ポイントとClef 0.65コストがかかる。
コード、量子化のレシピ、レコードごとの出力、事前登録をリリースします。
関連論文リスト
- End-to-End MXFP8 Reinforcement Learning on Blackwell: What Matching Buys, When It Pays Off, and How It Fails [0.0]
低精度算術は強化学習を安くすることができる。
いくつかのフレームワークがFP8を両サイドで実行できるようになった。
エンドツーエンドのMXFP8 RLをverlで実装する。
論文 参考訳(メタデータ) (2026-10-26T06:41:16Z) - FuTransformer: FP8 prefill and INT4 decode for Llama-style inference on Hopper [3.565474315629056]
Transformer Prefillはトークン間のウェイトを再利用し、行列計算とアクティベーションデータの動きによって支配される。
シングルトーケンは再利用が限られており、重量とKVキャッシュの読み取りが支配的である。
本稿では,NVIDIAホッパー用のLlama型トランスフォーマーブロックのATRANSFORMERデコード実装について述べる。
論文 参考訳(メタデータ) (2026-10-16T17:22:01Z) - Same Probe, Different Numbers: Are Activation Probes Robust to Inference-Time Numerical Non-Determinism? [0.0]
アクティベーションプローブは、デプロイ中のLSMを監視するために、ますます使われています。
一般的なGPUカーネルはバッチ不変ではなく、浮動小数点のフォーマットが異なるため、デプロイメントで見られるアクティベーションは、プローブがトレーニングしたものではありません。
Llama-3.1-8B, Qwen3-8B, Gemma-3-4Bのバッチサイズ4, 8, 16およびfloat32, bfloat16およびfloat16のコストを測定した。
論文 参考訳(メタデータ) (2026-09-25T07:14:49Z) - Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。
同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。
実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
論文 参考訳(メタデータ) (2026-09-22T15:54:16Z) - Low-Rank Frequency Convolution and Noise-Range Augmentation for Real-Time Pitch Estimation on Edge Devices [0.0]
本報告では、我々の初期の研究の周波数畳み込みネットワーク(FrCN)を低ランクの形式に分解する。
トレーニング中に使用するノイズの範囲は、干渉が深刻であるときにモデルがどのように振る舞うかを設定する際に、アーキテクチャを支配していることも示される。
論文 参考訳(メタデータ) (2026-09-20T03:53:39Z) - Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。
この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。
そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
論文 参考訳(メタデータ) (2025-06-11T08:23:53Z) - "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。
FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
論文 参考訳(メタデータ) (2024-11-04T18:21:59Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳(メタデータ) (2022-12-19T18:48:33Z) - 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。
この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。
本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
論文 参考訳(メタデータ) (2021-10-06T15:43:20Z) - Differentiable Model Compression via Pseudo Quantization Noise [99.89011673907814]
本稿では,モデルパラメータに独立な擬似量子化雑音を加えて量子化演算子の効果を近似する。
本手法が,画像分類,言語モデリング,音声ソース分離などのベンチマークやアーキテクチャにおいて,最先端の量子化技術を上回ることを実験的に検証した。
論文 参考訳(メタデータ) (2021-04-20T14:14:03Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳(メタデータ) (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。