論文の概要: Decomposing Runtime, Kernel, and Quantization Speedups via a Matched FP16 Intermediate: A Hardware-Conditioned Case Study on Four NVIDIA RTX A5000 GPUs

• arxiv url: http://arxiv.org/abs/2607.11368v1
• Date: Mon, 13 Jul 2026 10:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.436609
• Title: Decomposing Runtime, Kernel, and Quantization Speedups via a Matched FP16 Intermediate: A Hardware-Conditioned Case Study on Four NVIDIA RTX A5000 GPUs
• Title（参考訳）: マッチングされたFP16中間体による実行時,カーネル,量子化の高速化:NVIDIA RTX A5000 GPU4つのハードウェア設計事例
• Abstract要約: 量子化は、再現可能な半精度メモリの崖を約4回通り、同時ユーザを拡張します。 一致した中間スタックは、量子化されたカーネルがフルスピードアップをランタイム部とカーネルと量子化部に分割することなく、高速なランタイムを保持する。 2つのスタック間のサンプリングモードとプロンプトプールの違いは、妥当性の脅威として記録される。
• 参考スコア（独自算出の注目度）: 0.614481021961242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reported serving speedups from quantized kernels typically bundle the weight format, the kernel, and the inference runtime into one number. We present an attribution study on four NVIDIA RTX A5000 GPUs, 24 GiB each, on a single host with NVLink-bridged pairs. A matched intermediate stack that keeps the faster runtime without the quantized kernel splits the full speedup into a runtime part and a kernel and quantization part. Under matched greedy decoding the full stack reaches $2.58\times$ end to end, with the runtime change accounting for about two thirds of that gain on a logarithmic scale; across three similar model families the kernel and quantization part moves by at most 1.5%. Sharding one instance across all four cards falls well below doubling: a profiler trace attributes about 80% of the per token shortfall to coordination, and an NVLink versus PCIe control on the same hardware shows similar realized bandwidth on both links, pointing away from link bandwidth as the cause. Whether to run one sharded instance or several independent ones depends on the workload and the model, with the ranking reversing on the larger model: the smaller model splits between sharding and multiple instances by workload, while the larger model favors two paired instances on every workload. Quantization extends sustainable concurrent users roughly four times past a reproducible half precision memory cliff. Differences in sampling mode and prompt pool between the two stacks are documented as threats to validity.
• Abstract（参考訳）: 報告された量子化されたカーネルからのサービススピードアップは、一般的に重み形式、カーネル、推論ランタイムを1つの数にまとめる。 NVLinkをブリッジした単一ホスト上で,4つのNVIDIA RTX A5000 GPU,24 GiBのコントリビューションスタディを示す。 量子化されたカーネルなしで高速なランタイムを維持するマッチした中間スタックは、フルスピードアップをランタイム部とカーネルおよび量子化部とに分割する。 一致したgreedyデコードの下では、フルスタックは2.58\times$ end to endに到達し、実行時の変更は、対数スケールでその利得の約3分の2を占める。 プロファイラトレースはトークン単位の欠点の約80%を調整に当てはめ、同じハードウェア上のNVLink対PCIeコントロールは、リンク帯域幅を原因として、両方のリンク上でも同様に実現された帯域幅を示している。 1つのシャーディングされたインスタンスを実行するか、複数の独立したインスタンスを実行するかは、ワークロードとモデルに依存する。 量子化は、再現可能な半精度メモリの崖を約4回過ぎて、持続可能な同時ユーザを拡張します。 2つのスタック間のサンプリングモードとプロンプトプールの違いは、妥当性の脅威として記録される。

関連論文リスト

• mKernel: Fast Multi-GPU, Multi-Node Fused Kernels [37.86216303017995]
  mKernelはマルチGPU、マルチノード融合カーネルのライブラリで、計算処理、ノード内NVLink通信、タイル粒度でのノード間RDMAをオーバーラップする。 GEMM+AllReduceでは最大1.72倍、Ring Attentionでは1.88倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-09-11T22:50:04Z)
• FoldPipe: Bounded Remote Streaming of Native Molecular Shards with Asynchronous Prefetch [0.0]
  FoldPipeは、PyTorchとPyTorch Geometricデータのための軽量なPythonオーケストレーション層である。 コンシューマが現在のシャードでトレーニングしている間に、バックグラウンドスレッドで1つのシャードを前もって取得し、ライブシャードペイロードの数をバウンドする。 MD17アスピリン上でのシュネットエネルギーと力の負荷をTesla T4上で20対のオーダー交互ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-08-27T12:15:16Z)
• Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
  私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。 Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:33:28Z)
• LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation [84.86814271505109]
  LongLive-2.0は、長いビデオ生成の完全なトレーニングと推論ワークフロー全体を通じて、NVFP4ベースの並列インフラストラクチャである。 トレーニングには,quence-parallel autoregressive (AR) トレーニングを導入する。 実験ではトレーニングで2.15倍、推論で1.84倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2026-05-18T17:57:03Z)
• COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels [11.316541559874864]
  プロトタイプスケジューラは、固定幅ヒストグラムを用いて推定したアクティベーションエントロピーを、チャンクサイズ選択のランタイム信号として利用する。 COREYはConcept and Feasibilityのコントリビューションとして位置づけられている。 この作業には、Tier 2aとTier 2bを接続する完全なエンドツーエンド実行が含まれていない。
  論文  参考訳（メタデータ） (2026-04-12T12:07:48Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• ParallelKittens: Systematic and Practical Simplification of Multi-GPU AI Kernels [40.94392896555992]
  既存のシステムは、計算通信の重複によってこれを緩和するが、しばしばワークロードと新しいアクセラレータ間の理論的帯域幅を満たさない。 演算子固有のテクニックの代わりに、簡単な再利用可能な原則の小さなセットが、ワークロードの最適なパフォーマンスを導くことができるかどうかを問う。 PKKittens(PK)カーネルは、最大2.33倍の並列ワークロードを実現する。
  論文  参考訳（メタデータ） (2025-11-17T21:48:33Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。