論文の概要: Dissecting GPU Utilization for LLM Inference on Nvidia Hopper

• arxiv url: http://arxiv.org/abs/2609.12923v1
• Date: Fri, 11 Sep 2026 14:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.789558
• Title: Dissecting GPU Utilization for LLM Inference on Nvidia Hopper
• Title（参考訳）: Nvidiaホッパー上でのLLM推論のためのGPU利用の分離
• Abstract要約: 単一のSM利用率により、LSM推論ワークロードは計算飽和に見える。 我々は,通常の単一利用回数を,生のNsight Computeレポートから得られた8つの逆バリデーションビューに置き換える。
• 参考スコア（独自算出の注目度）: 2.356912719241652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A single SM utilization percentage can make an LLM inference workload look compute-saturated while hiding how much useful work is being done. The problem is not that the counter is wrong, but that it collapses several different mechanisms into one number. This is most severe during decode, where each request contributes only one new token and dense projection GEMMs become small-row matrix multiplications. On Hopper, the bfloat16 GMMA path executes these operations in fixed 64-row matrix fragments, so small-batch decode can fill only a small fraction of each fragment with real token rows. In this paper, we profile vLLM with FlashAttention-3 and cuBLASLt on an H100 NVL across cold prefill, warm prefill, and decode, sweeping sequence length and batch size. We replace the usual single utilization number with eight counter-validated views derived from raw Nsight Compute reports, each pinned to an NCU counter or explicit formula. Together, these views map utilization gaps to concrete mechanisms - fragment fill, occupancy limits, stall signatures, wave quantization, and kernel selection - across four production models and six per-layer kernel roles.
• Abstract（参考訳）: 単一のSM利用率によって、LLM推論のワークロードは、どれだけの有用な作業が行われているかを隠蔽しながら、計算飽和に見えます。 問題は、カウンターが間違っているのではなく、いくつかの異なるメカニズムを1つの数に分解することです。 これはデコード時に最も重大であり、各要求は1つの新しいトークンにのみ寄与し、GEMMは小さなロー行列乗法となる。 Hopperでは、bfloat16 GMMAパスが固定された64-row行列フラグメントでこれらの操作を実行するため、小さなバッチデコードで各フラグメントのごく一部を実際のトークン行で埋めることができる。 本稿では,FlashAttention-3とcuBLASLtのvLLMを,冷間プリフィル,温間プリフィル,デコード,シーケンス長,バッチサイズでH100 NVLでプロファイリングする。 通常の単一利用回数を、Nsight Computeレポートから得られる8つの逆検証されたビューに置き換え、それぞれがNCUカウンタまたは明示的な公式にピン留めされる。 これらのビューは、具体的なメカニズム – フラグメントフィリング、占有限界、ストールシグネチャ、ウェーブ量子化、カーネル選択 – への利用ギャップを4つのプロダクションモデルと6つのレイヤ単位のカーネルロールにマップする。

関連論文リスト

• Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices [18.428868416628017]
  本稿では,中程度間隔の大規模言語モデル(LLM)に対する効率的な推論手法を提案する。 SpInferで最大1.64倍のスピードアップを実現し、FlashLLMで最大1.41倍のエンドツーエンドスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-06-13T13:38:27Z)
• Vec-LUT: Vector Table Lookup for Parallel Ultra-Low-Bit LLM Inference on Edge Devices [13.483546044414581]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされている。 LUTベースの推論は、並列推論中にメモリ帯域幅を弱める。 Vec-LUTはベースラインを最大4.2倍に上回る。
  論文  参考訳（メタデータ） (2025-12-06T14:14:01Z)
• Counting Without Running: Evaluating LLMs' Reasoning About Code Complexity [2.7389338551082605]
  性能ボトルネックを予測するため,LLM(Large Language Models)のベンチマークを開発した。 FLOPBenchは577カーネルの単精度と倍精度のFLOP数を予測する。 われわれはFLOPBenchをLLMツールの開発に焦点をあてたテストベッドとして位置づけた。
  論文  参考訳（メタデータ） (2025-12-04T01:03:20Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• FoNE: Precise Single-Token Number Embeddings via Fourier Features [51.17846016593835]
  本稿では,数値をFourierの特徴を持つ埋め込み空間にマッピングする新しい手法を提案する。 FoNEは各数値を1桁に2つの埋め込み次元しか持たない単一のトークンとしてエンコードし、フラグメンテーションなしで数値を効果的にキャプチャする。 6桁の10進法では、FoNEはサブワードや桁の埋め込みよりも99%の精度を達成するために64$times$少ないデータを必要とする。 FoNEは、加算、減算、乗算の10万以上の試験例で100%精度を得る唯一の方法である。
  論文  参考訳（メタデータ） (2025-02-13T19:54:59Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models [20.070306492164427]
  学習後の量子化は、大きな言語モデルの推論を加速する強力な技術として機能する。 既存の作業は、推論中にかなりの数の浮動小数点(FP)操作を必要とする。 この制限は、エッジとクラウドデバイス上の大きな言語モデルのデプロイを妨げる。 大規模言語モデルに適した整数のみの完全量子化PTQフレームワークであるI-LLMを提案する。
  論文  参考訳（メタデータ） (2024-05-28T05:56:11Z)
• LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
  トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。 175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
  論文  参考訳（メタデータ） (2022-08-15T17:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。