論文の概要: The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference

• arxiv url: http://arxiv.org/abs/2608.13756v2
• Date: Tue, 18 Aug 2026 06:33:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 13:45:32.857579
• Title: The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference
• Title（参考訳）: 整数アリビ:INT8量子LDM推論におけるカーネル間の多様性の局在化
• Abstract要約: 同じスケールのINT8 GEMMインターフェースを実装した2つのGPUカーネルは通常、交換可能である。 チェックポイント、プロンプト、ハードウェア、推論エンジン、デコード、量子化設定を固定し、vLLM内のINT8リニアカーネルのみを交換する。 1.7B では、各アームはコールドリスタートでビット・フォー・ビットを再生するが、実行したエンドツーエンドの比較(0/8、0/16、0/64)では、腕は一致しない。
• 参考スコア（独自算出の注目度）: 0.10152838128195468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two GPU kernels implementing the same scaled INT8 GEMM interface are usually treated as interchangeable. We test that assumption: holding the checkpoint, prompts, hardware, inference engine, decoding, and quantization configuration fixed, we swap only the INT8 linear kernel (CUTLASS versus Triton) inside vLLM. At 1.7B each arm reproduces itself bit-for-bit across cold restarts, yet the arms agree on no sequence in any end-to-end comparison we ran (0/8, 0/16, and 0/64). What makes this more than a benchmark discrepancy is an integer alibi: for shared INT8 operands under a verified no-overflow bound, the INT32 dot product is exact and order-independent, so the accumulator cannot be the source of any difference. Feeding both kernels identical operands from every linear layer of Qwen3-1.7B and 8B (196 and 252 layers), we find bit-identical outputs under power-of-two scales, confirming a pinned prediction list 196/196 and 252/252 (pre-registered at 1.7B, pinned but not blind at 8B), and observed differences of at most one bfloat16 spacing under the checkpoints' real scales. This localizes the divergence to scale application and output rounding after the exact accumulator. Applied as a probe checkpoint, the same intervention restores end-to-end bitwise agreement (8/8 and 16/16 sequences). Cross-implementation FP8 GEMM shows a different signature: both the prevalence and the magnitude of differences grow with reduction depth, while the INT8 fraction stays at parts per million and within one spacing over a 64x range of K. Teacher-forced replay ties layers to tokens: flips concentrate at small logit margins, which predict flip risk with ROC-AUC 0.94 on 16,384 positions. We will release the pre-registration, per-layer predictions, manifests with kernel-selection evidence, and a conformance procedure that turns these controls into a concrete check for kernel interchangeability.
• Abstract（参考訳）: 同じスケールのINT8 GEMMインターフェースを実装した2つのGPUカーネルは通常、交換可能である。 チェックポイント、プロンプト、ハードウェア、推論エンジン、デコード、量子化設定を固定し、vLLM内のINT8リニアカーネル(CUTLASS vs Triton)のみを交換する。 1.7B では、各アームはコールドリスタートでビット・フォー・ビットを再生するが、実行したエンドツーエンドの比較(0/8、0/16、0/64)では、腕は一致しない。 証明された非オーバーフロー境界の下での共有INT8演算子の場合、INT32ドット積は正確で順序に依存しないので、アキュムレータはいかなる違いの源にもならない。 Qwen3-1.7B と 8B (196 と 252 層) のすべての線形層から両方のカーネルが同一のオペランドを供給し、2つのスケールのビット識別出力を発見し、ピン付き予測リスト 196/196 と 252/252 を確認した。 これにより、正確なアキュムレータの後に、アプリケーションと出力の丸めをスケールするために分岐をローカライズする。 プローブチェックポイントとして適用された同じ介入は、エンドツーエンドのビットワイド合意(8/8および16/16シーケンス)を復元する。 FP8 GEMMは、頻度と差の大きさの両方が減少深度とともに大きくなるのに対して、INT8分画は、Kの64倍の領域で1個あたり100万個に留まる。 我々は、事前登録、層ごとの予測、カーネル選択の証拠によるマニフェスト、およびこれらの制御をカーネル交換性の具体的なチェックに変換するコンフォーマンス手順をリリースする。

関連論文リスト

• Is INT8 Portable? A Cross-Platform Measurement Study of Quantized Inference on Embedded and Automotive Accelerators [0.0]
  「一度量子化し、どこにでもデプロイする」というのは、組込みおよび自動車の配置にとって安全ではない。 エッジNPUレイテンシは計算よりも出力/デバイス間転送サイズによって設定されることを示す。
  論文  参考訳（メタデータ） (2026-09-14T05:29:21Z)
• Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance [0.10152838128195468]
  量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。 5つのエピローグ断層(スケール精度、ダブルラウンド、乗算順序、出力トランケーション、融合順序)のうちの1つが、少なくとも1つのbfloat16間隔で出力を移動していることがわかった。 5つの断層のうち4つはスイートのチェック無しで検出され、5番目は2つのスケールでのみ検出される。
  論文  参考訳（メタデータ） (2026-08-25T03:05:54Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• qZACH-ViT: Quantization-Aware Intrinsic Explanations with Recursive Attribution-Stabilized Optimization [0.0]
  ゼロトケンフリーなZACH-ViTバックボーンの量子化対応拡張であるqZACH-ViTを導入する。 帰納的属性安定化最適化(RASO)も導入する。 我々は,クラス毎に50のトレーニング画像と10の固定種子を用いて,7つのMedMNISTデータセットに対して4つの制御条件を評価する。
  論文  参考訳（メタデータ） (2026-07-16T19:51:48Z)
• Operator-Aware Mixed-Precision Tolerance Calibration for Tensor Kernels [0.0]
  テンソル-カーネルの正当性テストは、手書きの絶対値と相対値の許容値を持つ固定形全クローズスタイルチェックを経由する。 我々は、カーネル自体が正しい実装で観察される絶対許容度を問う。 答えは、現在の手書きのガソリンよりずっときつい。
  論文  参考訳（メタデータ） (2026-06-23T20:50:36Z)
• Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs [0.08599681538174887]
  9.3Bフローベース拡散変圧器(DiT)Ideogram 4.0の学習後量子化について検討する。 我々は、Ideogramの公開キャプション仕様に組み込んだ拡張器によって生成されたスキーマ値プロンプトに基づいて、すべての変種を評価する。 We release the INT8 W8A8 and GG Q4_K Quantized weights on Hugging under a gated, non-commercial license。
  論文  参考訳（メタデータ） (2026-06-10T16:19:49Z)
• The Illusion of Equivalence: Systematic FP16 Divergence in KV-Cached Autoregressive Inference [2.954681536906518]
  KVキャッシングは自己回帰変換器推論におけるユビキタス最適化である。 FP16 KVキャッシュ推論は基本的に再計算と等価ではないことを示す。
  論文  参考訳（メタデータ） (2026-04-16T15:59:40Z)
• LUT-KAN: Segment-wise LUT Quantization for Fast KAN Inference [20.271194684947282]
  本稿では,PyKanスタイルのkan層に対するLUTコンパイルおよび量子化手法であるLUT-KANを紹介する。 LUT-KANは、各エッジ関数をアフィンInt8/uint8量子化および線形化したセグメントごとのLUTに変換する。 複数の種にまたがる平均および標準偏差による精度,速度,メモリ計測値について報告する。
  論文  参考訳（メタデータ） (2026-01-06T18:00:45Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
  トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。 175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
  論文  参考訳（メタデータ） (2022-08-15T17:08:50Z)
• I-BERT: Integer-only BERT Quantization [78.43819756382103]
  トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。 I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。 いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
  論文  参考訳（メタデータ） (2021-01-05T02:42:58Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。