論文の概要: Accelerating the Mitigation of LLM Inference Nondeterminism Across GPU Architectures

• arxiv url: http://arxiv.org/abs/2609.25624v1
• Date: Tue, 22 Sep 2026 03:32:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.192377
• Title: Accelerating the Mitigation of LLM Inference Nondeterminism Across GPU Architectures
• Title（参考訳）: GPUアーキテクチャ全体でのLCM推論非決定性の緩和を加速する
• Abstract要約: 大規模言語モデル(LLM)の出力は、強欲な復号化の下で再現可能であることが期待される。 根本原因は、ハードウェア依存のカーネル選択と、浮動小数点非連想性である。 本稿では,一組の固定構成フューズアップキャストGEMMカーネルを用いたソリューションを提案する。
• 参考スコア（独自算出の注目度）: 2.6119589219116177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) outputs are expected to be reproducible under greedy decoding, yet in practice the same model, prompt, and software stack produce different outputs on different GPUs. The root cause is floating-point non-associativity combined with hardware-dependent kernel selection. Inference frameworks select different matrix-multiplication kernels on each architecture, with different parallel reduction orders and unspecified tensor-core arithmetic, and the resulting rounding differences can flip output tokens. Existing solutions have imperfect cross-architecture reproducibility and incur a significant performance penalty. We present a solution employing a set of fixed-configuration fused-upcast GEMM kernels that load 16-bit weights from memory, upcast them to FP32 in registers, and accumulate with IEEE-754 arithmetic in a reduction order that is a pure function of the problem shape and is therefore independent of the device, its SM count, or kernel scheduling. By fixing the floating-point reduction order as a function of problem shape alone, every GPU runs the same operation sequence, so cross-architecture reproducibility of the linear layers reduces to correct IEEE-754 arithmetic rather than to rounding differences staying below a tie-flip threshold. We confirm our solution's linear-layer outputs are bitwise identical across NVIDIA Ampere, Ada, and Hopper GPUs, while running $1.17$ to $3.1\times$ faster end-to-end than the state-of-the-art solution and cutting weight-memory traffic in half.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出力は、強欲な復号化の下で再現可能であることが期待されているが、実際には同じモデル、プロンプト、ソフトウェアスタックが異なるGPU上で異なる出力を生成する。 根本原因は、ハードウェア依存のカーネル選択と、浮動小数点非連想性である。 推論フレームワークは、異なる並列化順序と特定されていないテンソルコア演算を用いて、それぞれのアーキテクチャ上で異なる行列乗算カーネルを選択し、その結果の丸めの違いは出力トークンを反転させることができる。 既存のソリューションでは、アーキテクチャ間の再現性が不十分で、パフォーマンス上の重大なペナルティが生じる。 本稿では、メモリから16ビットの重みをロードし、レジスタ内のFP32にアップキャストし、問題形状の純粋関数である還元順序でIEEE-754算術を蓄積する固定構成フューズドアップキャストGEMMカーネルを用いたソリューションを提案する。 浮動小数点減少順序を問題形状のみの関数として固定することにより、各GPUは同じ操作シーケンスを実行するため、線形層のクロスアーキテクチャ再現性は、タイフリップ閾値以下の差を丸めるのではなく、IEEE-754演算を補正する。 当社のソリューションの線形層出力がNVIDIA Ampere、Ada、Hopper GPU間でビット単位で同一であることを確認します。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices [18.428868416628017]
  本稿では,中程度間隔の大規模言語モデル(LLM)に対する効率的な推論手法を提案する。 SpInferで最大1.64倍のスピードアップを実現し、FlashLLMで最大1.41倍のエンドツーエンドスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-06-13T13:38:27Z)
• Hierarchical Transformer Preconditioning for Interactive Physics Simulation [28.137076331332413]
  階層型トランスフォーマープレコンディショナー(Hierarchical Transformer Preconditioner)は、弱い許容率のH行列分割に固定されたニューラルプレコンディショナーである。 ネットワークは低ランクの遠距離因子を通して逆をモデル化する。 高速道路の接続を利用して、奥行きを隔ててコンテキストを伝播する。
  論文  参考訳（メタデータ） (2026-05-13T11:02:27Z)
• Deterministic Inference across Tensor Parallel Sizes That Eliminates Training-Inference Mismatch [21.951981326540878]
  既存のLLMサービスフレームワークは、非決定論的行動を示す。 これは浮動小数点算術の非連想性から生じる。 本稿では,TP-不変行列乗算と還元プリミティブの集合であるTree-Based Invariant Kernels (TBIK)を提案する。
  論文  参考訳（メタデータ） (2025-11-21T22:40:00Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。