論文の概要: Is INT8 Portable? A Cross-Platform Measurement Study of Quantized Inference on Embedded and Automotive Accelerators

• arxiv url: http://arxiv.org/abs/2609.16085v1
• Date: Mon, 14 Sep 2026 05:29:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.147415
• Title: Is INT8 Portable? A Cross-Platform Measurement Study of Quantized Inference on Embedded and Automotive Accelerators
• Title（参考訳）: INT8はポータブルか? 組込み・自動車加速器における量子推論のクロスプラットフォーム測定
• Abstract要約: 「一度量子化し、どこにでもデプロイする」というのは、組込みおよび自動車の配置にとって安全ではない。 エッジNPUレイテンシは計算よりも出力/デバイス間転送サイズによって設定されることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Eight-bit integer (INT8) post-training quantization is the default recipe for edge deployment, under a widely held assumption: INT8 makes inference faster at a small, predictable accuracy cost, and a model quantized once can be carried to any target. We test that assumption with a controlled measurement study across seven hardware classes -- ARM and x86 CPUs, a discrete GPU, an NVIDIA Jetson AGX Orin iGPU and its NVDLA cores, and two vendor NPUs (Qualcomm Hexagon HTP, DEEPX DX-M1) -- holding the ONNX artifact and the quantization scales fixed so the integer kernel or ISA is the only free variable. Portability fails on three axes. (1) The sign of the INT8 speedup is set by the CPU's dot-product ISA (ARM dotprod/SDOT, x86 VNNI): cores that have it speed up by up to 2.1x, cores that lack it slow down by 1.7x, for the identical model and runtime. (2) INT8 outputs are not portable, and the rule is an invariance rather than a gradient: FP32 predictions are bit-identical for every pair (1000/1000), while INT8 predictions agree 1000/1000 exactly when two targets share an integer kernel and 958-965/1000 whenever they do not -- independent of whether the boundary is CPU<->CPU or CPU<->accelerator, and invisible to top-1 accuracy, which is preserved. (3) Vendor NPUs own quantization: a bring-your-own QDQ graph fails silently on one NPU (external scales ignored, accuracy 0.75 -> 0.005 while it compiles, profiles and runs without error) and loudly on the other (the compiler refuses the graph), so only the vendor's native path yields a correct engine. We further show that edge-NPU latency regimes are set by output/device-to-host transfer size rather than compute, and locate the transition with a fixed-compute sweep. We release the scripts and 32 reports. "Quantize once, deploy anywhere" is unsafe for embedded and automotive deployment, where per-input determinism and redundancy matter.
• Abstract（参考訳）: 8ビット整数(INT8)ポストトレーニング量子化は、エッジデプロイメントのデフォルトのレシピであり、広く支持されている前提である: INT8は推論を小さく、予測可能な精度で高速化し、一度量子化したモデルを任意のターゲットに運べる。 我々は、ARMとx86 CPU、離散GPU、NVIDIA Jetson AGX iGPUとそのNVDLAコア、および2つのベンダーNPU(Qualcomm Hexagon HTP, DEEPX DX-M1)の7つのハードウェアクラスで、ONNXアーティファクトと量子化スケールが固定され、整数カーネルまたはISAが唯一の自由変数となるように、その仮定を検証した。 ポータビリティは3つの軸で失敗する。 1) INT8 のスピードアップのサインは CPU のドット生成 ISA (ARM dotprod/SDOT, x86 VNNI) によって設定される。 FP32予測は各ペア(1000/1000)でビット識別可能であるのに対して、INT8予測は2つのターゲットが整数カーネルを共有している場合の1000/1000と、境界がCPU<->CPUかCPU<->アクセラレータであるかに関わらず独立して、トップ1の精度で保存されている場合の958-965/1000と、正確に1000/1000と一致する。 (3) ベンダー NPU 独自の量子化: 持ち込み可能な QDQ グラフは 1 つの NPU (外部スケールは無視され、精度 0.75 -> 0.005 はコンパイルされ、プロファイルがプロファイルされ、エラーなしで実行される) と、他方で大声で失敗する(コンパイラはグラフを拒否する)ため、ベンダーのネイティブパスだけが正しいエンジンを生成する。 さらに、エッジ-NPUレイテンシは、計算よりも出力/デバイス間転送サイズによって設定され、固定的なスイープで遷移が検出されることを示す。 スクリプトと32のレポートをリリースします。 「一度量子化、どこにでも展開」は、入出力決定性や冗長性が問題となる組込みおよび自動車の展開にとって安全ではない。

関連論文リスト

• The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference [0.10152838128195468]
  同じスケールのINT8 GEMMインターフェースを実装した2つのGPUカーネルは通常、交換可能である。 チェックポイント、プロンプト、ハードウェア、推論エンジン、デコード、量子化設定を固定し、vLLM内のINT8リニアカーネルのみを交換する。 1.7B では、各アームはコールドリスタートでビット・フォー・ビットを再生するが、実行したエンドツーエンドの比較(0/8、0/16、0/64)では、腕は一致しない。
  論文  参考訳（メタデータ） (2026-08-13T20:34:36Z)
• QSimAdv: A Late-Bound, Vendor-Agnostic Architecture for High-Performance Quantum-Circuit Simulation [1.435000056979246]
  QSimAdvは共通カーネルではなく遅延バインディングである。 この設計はNVIDIA GH200とAMD MI250X/EPYCシステムで実現している。
  論文  参考訳（メタデータ） (2026-08-11T23:17:29Z)
• Realizing Native INT8 Compute for Diffusion Transformers on Consumer GPUs: A Fused INT8 GEMM Kernel for Ideogram 4.0 [0.08599681538174887]
  拡散変圧器の後のINT8(W8A8)量子化は、速度最適化として広く展開されている。 消費者向けのAmpere GPUでは、FP8やNF4よりも遅いことがしばしばある。 われわれはこのギャップをTriton INT8 GEMMで埋める。 したがって、INT8は最も遅い変種から最も速いものへと移行する。
  論文  参考訳（メタデータ） (2026-06-12T16:19:03Z)
• Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs [0.08599681538174887]
  9.3Bフローベース拡散変圧器(DiT)Ideogram 4.0の学習後量子化について検討する。 我々は、Ideogramの公開キャプション仕様に組み込んだ拡張器によって生成されたスキーマ値プロンプトに基づいて、すべての変種を評価する。 We release the INT8 W8A8 and GG Q4_K Quantized weights on Hugging under a gated, non-commercial license。
  論文  参考訳（メタデータ） (2026-06-10T16:19:49Z)
• Spike-Aware C++ INT8 Inference for Sparse Spiking Language Models on Commodity CPUs [8.419155861590548]
  スパイク言語モデルは、高密度のTransformerランタイムが直接利用しないアクティベーション空間を公開します。 スパースバイナリスパイク状態を実行プリミティブとして扱うC++ CPU推論ランタイムを実装した。 スパイク対応の実行は、スパース言語モデルのCPUスループットとメモリ動作を改善することができる。
  論文  参考訳（メタデータ） (2026-06-02T02:03:37Z)
• MUXQ: Mixed-to-Uniform Precision MatriX Quantization via Low-Rank Outlier Decomposition [0.196629787330046]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて優れた性能を達成している。 ZeroQuant, LLM.int8() や SmoothQuant といった既存の手法では、入力アクティベーションのアウトレイアとハードウェアの非効率に完全に対応していない。 MUXQ(Mixed-to-Uniform Quantization)を提案する。
  論文  参考訳（メタデータ） (2026-04-06T14:13:47Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
  トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。 175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
  論文  参考訳（メタデータ） (2022-08-15T17:08:50Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。