論文の概要: Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance

• arxiv url: http://arxiv.org/abs/2609.00363v1
• Date: Tue, 25 Aug 2026 03:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.08041
• Title: Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance
• Title（参考訳）: GPUカーネル間の決定論的LLM推論:2つのINT8量子化スケールと耐障害性に基づくコンフォーマンス限界
• Abstract要約: 量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。 5つのエピローグ断層(スケール精度、ダブルラウンド、乗算順序、出力トランケーション、融合順序)のうちの1つが、少なくとも1つのbfloat16間隔で出力を移動していることがわかった。 5つの断層のうち4つはスイートのチェック無しで検出され、5番目は2つのスケールでのみ検出される。
• 参考スコア（独自算出の注目度）: 0.10152838128195468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conformance suites for quantized GEMM kernels ask whether two implementations agree within a tolerance. We measure what such a suite can detect. Injecting nine faults into a reference INT8 pipeline over 8,232 layer--fault--regime cells of Qwen3-1.7B, we find that every one of five epilogue faults -- scale precision, double rounding, multiplication order, output truncation, fused ordering -- moves the output by at most a single bfloat16 spacing, and by exactly one whenever it moves it at all, across 5,880 cells. A tolerance of one spacing is therefore blind to the entire class by construction: four of the five faults are detected by no check in the suite, and the fifth only under power-of-two scales. Faults that violate the accumulator's exactness preconditions, or that break operand sharing, are detected without exception, and a null fault never fires. What a tolerance-based suite of this shape establishes is therefore narrower than interchangeability: that the preconditions hold, that operands are shared, and that differences stay within one spacing. The power-of-two constraint that exposes the one detected fault is also deployable. Requantizing every weight scale to its nearest power of two makes CUTLASS and Triton agree bitwise at every linear layer (196/196 and 252/252, against 8/196 and 10/252 under the checkpoints' own scales) and yields byte-identical generated token sequences at 1.7B, 8B and 14B (8/8 prompts, against 0/8 at all three). Observed perplexity point estimates are +0.32%, -0.28% and +0.48%; the 90% intervals cover zero at the two smaller sizes but not at 14B, reaching +0.71% and +0.76%. A previously reported +157% perplexity for this intervention was an artifact of a probe that rewrote scales without requantizing the weights; separating the effects attributes 99.8% of it to the resulting weight--scale mismatch rather than to the power-of-two constraint itself.
• Abstract（参考訳）: 量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。 そのようなスイートが検出できるものを測定します。 8,232層以上のINT8パイプラインに9つの障害を注入すると、Qwen3-1.7BのFault-Regime細胞が5つのエピローグ断層(スケール精度、ダブルラウンドリング、乗算順序、出力トランケーション、融合順序)のうちの1つ1つが、少なくとも1つのbfloat16間隔で出力を移動し、5,880セルにわたって正確に1つずつ移動していることが分かる。 5つの断層のうち4つはスイートのチェック無しで検出され、5つは2つのスケールでのみ検出される。 アキュムレータの正確な条件に反する障害、またはオペランド共有を破る障害は例外なく検出され、ヌルフォールトは発生しない。 したがって、この形状の寛容性に基づくスイートは、事前条件が保持し、オペランドが共有され、違いが1つの間隔内に留まっているという、交換可能性よりも狭い。 検出された障害を露呈する2つの制約のパワーもデプロイ可能である。 CUTLASS と Triton は、全ての線形層 (196/196 と 252/252 に対してチェックポイントのスケールで 8/196 と 10/252 に対して) でビット単位で一致し、1.7B と 8B と 14B (0/8 に対して 0/8 に対して 8/8 のプロンプト) でバイト単位のトークンシーケンスを生成する。 観測されるパープレキシティポイントの推定値は+0.32%、-0.28%、+0.48%であり、90%の間隔は2つの小さなサイズでゼロをカバーしているが、14Bでは0.71%、+0.76%には達していない。 以前報告された+157%の難易度は、重量を再計算することなくスケールを書き換えるプローブの人工物であり、その効果の99.8%は2つの制約のパワーではなく、結果として生じる重量スケールのミスマッチである。

関連論文リスト

• Quantization Amplifies Determinism, Not Bias: Scale-Dependent Behavioral Effects of Serving-Time Weight Compression [0.0]
  中規模のモデルの量子化は、しばしば「ほぼ自由」と見なされる いくつかの答えが有効であれば、量子化はモデルが言うべきことを変えるのか? 3つのチェックポイント(Qwen3-8B/14B/32B)を3つのウェイト精度(W4A16 AWQ、W8A16 FP8-Marlin、bf16)で提供する。 私たちは、プロンプトとシードで組み合わせた約71,000個のコンプリートを、2つのカスタムなリークチェックされたプロンプトバッテリーで収集します。
  論文  参考訳（メタデータ） (2026-09-07T19:06:31Z)
• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
  内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。 予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
  論文  参考訳（メタデータ） (2026-09-01T10:46:42Z)
• The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference [0.10152838128195468]
  同じスケールのINT8 GEMMインターフェースを実装した2つのGPUカーネルは通常、交換可能である。 チェックポイント、プロンプト、ハードウェア、推論エンジン、デコード、量子化設定を固定し、vLLM内のINT8リニアカーネルのみを交換する。 1.7B では、各アームはコールドリスタートでビット・フォー・ビットを再生するが、実行したエンドツーエンドの比較(0/8、0/16、0/64)では、腕は一致しない。
  論文  参考訳（メタデータ） (2026-08-13T20:34:36Z)
• LegoLM: Structured Weight Sharing for Large Language Models [0.0]
  大規模言語モデルのための構造付き重み共有圧縮フレームワークであるLegoLMを提案する。 LegoLMは2つの障害モードを解決している。 GPT-2 の小型(124M) と Mistral-7B 全体で、LegoLM は Mistral-7B 上の 4.41X 圧縮で +0.03% PPL の劣化を達成する。
  論文  参考訳（メタデータ） (2026-08-09T11:51:14Z)
• Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson [35.18016233072556]
  NVIDIA Jetson Orin Nano Super (8GB) で完全に動作する2次元SO-101システムを提案する。 我々は、NVMMバッファによってバックアップされたGStreamerキャプチャパイプラインを構築し、3つのカメラセンシングから冗長なホストデバイスコピーを取り除く。 我々は、ACTと拡散政策を同一のデモンストレーションで訓練し、それぞれが独自の基準予算で実施する。
  論文  参考訳（メタデータ） (2026-08-04T17:09:41Z)
• Flat Score, Amplified Failures: How the Error Budget Masks Damage in Quantized LLM Agents [19.600181756177303]
  密度とMoEの2つのモデルファミリの2ドルベンチでは、量子化は標準メートル法では自由に見える。 量子化は、モデルが既に示す失敗を最大2.5$times$の完全精度で増幅する。 目標とするエラー修正プロンプトは、正確度毎に5つの通信モデルで実行される。
  論文  参考訳（メタデータ） (2026-07-29T12:40:04Z)
• Scaffold splits hide structural-frontier failures in ADMET models [25.408600489964726]
  我々は,最も広く,最も物理化学的に遠隔的な足場群を予約するラベルフリーな構造フロンティアスプリットを導入する。 ADMETタスクを6つの公開実験またはキュレートしたADMETタスクで評価した。
  論文  参考訳（メタデータ） (2026-07-12T12:25:50Z)
• Operator-Aware Mixed-Precision Tolerance Calibration for Tensor Kernels [0.0]
  テンソル-カーネルの正当性テストは、手書きの絶対値と相対値の許容値を持つ固定形全クローズスタイルチェックを経由する。 我々は、カーネル自体が正しい実装で観察される絶対許容度を問う。 答えは、現在の手書きのガソリンよりずっときつい。
  論文  参考訳（メタデータ） (2026-06-23T20:50:36Z)
• Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
  デプロイされた注文エージェントは、階層の固定された分類に分解される。 純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。 制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
  論文  参考訳（メタデータ） (2026-06-10T05:55:13Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Fast, High-Fidelity Erasure Detection of Dual-Rail Qubits with Symmetrically Coupled Readout [28.325053893714635]
  消去量子ビットは、ハードウェア効率のよい量子エラー補正を実装するための有望なプラットフォームである。 デュアルレールキュービットの両トランスモンに分散・対称結合した単一リードアウト共振器からなるハードウェア効率の高い回路による消去検出を実現する。 我々は、消去検出によって引き起こされる1ゲート当たり7.2倍の10-5$の誤差を1倍の10-5$の誤差で達成する。
  論文  参考訳（メタデータ） (2026-04-17T17:54:23Z)
• Calibration of Drive Non-Linearity for Arbitrary-Angle Single-Qubit Gates Using Error Amplification [43.97138136532209]
  キュービットドライブラインコンポーネントの非線形性は、単一キュービットゲートの忠実性に制限を与える。 我々は、コヒーレンス制限エラーが2～4ドル、リークが6～5ドル以下の任意の角度のシングルキュービットゲートを実証する。
  論文  参考訳（メタデータ） (2022-12-02T10:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。