論文の概要: ROCm InferaSim: Cut LLM Serving Trial Costs and Deploy the Best Configuration

• arxiv url: http://arxiv.org/abs/2611.04032v1
• Date: Mon, 02 Nov 2026 22:23:40 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:33:40.920718
• Title: ROCm InferaSim: Cut LLM Serving Trial Costs and Deploy the Best Configuration
• Title（参考訳）: ROCm InferaSim: トライアルコストを削減し、最高の構成をデプロイする
• Abstract要約: ROCm InferaSimは、いくつかの短い測定からサービスパフォーマンスを予測する。 シミュレータはマルチターントラフィックを再生し、チューニングエージェントは予測を用いて構成を検索する。
• 参考スコア（独自算出の注目度）: 17.289784490517007
• License:
• Abstract: Serving an LLM efficiently depends on the engine, how the model is split across GPUs, precision, scheduler settings, speculative decoding, KV-cache management, and prefill-decode disaggregation. The best configuration depends on the model, hardware, workload, and objective. Operators usually find it by trial and error. Exhaustively measuring the candidates in our study would take about 25,000 GPU-hours. ROCm InferaSim predicts serving performance from a few short measurements. Choices such as batch size, prompt length, and GPU count change the amount of work per GPU without changing the kernels. ROCm InferaSim benchmarks each distinct set of kernels once, on at most one node. We call this measurement an anchor. Analytical laws carry that anchor to other deployments that run the same kernels. For multi-node deployments, ROCm InferaSim reduces the configuration to a single-node equivalent, measures it, and scales the result analytically. A simulator replays multi-turn traffic, and a tuning agent searches configurations using the predictions. On AMD Instinct MI355X GPUs with vLLM, SGLang, and ATOM, 11 anchors took 9.1 GPU-hours, against 204 GPU-hours to measure the 226 fixed-length configurations they cover. On 172 configurations, time per output token has 8.1% median error. On a multi-turn coding workload, throughput is within 8%. For 159 disaggregated deployments, none used as an anchor, throughput is within 5.5%. A five-candidate short list contains a deployment within 12% of the best feasible pairing of model and latency target.
• Abstract（参考訳）: LLMを効率的に実行するには、GPU、精度、スケジューラ設定、投機的デコーディング、KV-cache管理、プリフィル・デコードのデアグリゲーションなど、エンジンに依存する。 最高の設定は、モデル、ハードウェア、ワークロード、目的に依存します。 オペレータは通常、試行錯誤によってそれを見つける。 調査対象を徹底的に測定するには約25,000のGPU時間が必要です。 ROCm InferaSimは、いくつかの短い測定からサービスパフォーマンスを予測する。 バッチサイズ、プロンプト長、GPU数などの選択は、カーネルを変更することなくGPU当たりの作業量を変える。 ROCm InferaSimは、各異なるカーネルセットを少なくとも1つのノードでベンチマークする。 これをアンカーと呼ぶ。 分析法則は、同じカーネルを実行する他のデプロイメントにそのアンカーを運ぶ。 マルチノードデプロイメントでは、ROCm InferaSimは構成を単一ノード相当に減らし、測定し、結果を分析的にスケールする。 シミュレータはマルチターントラフィックを再生し、チューニングエージェントは予測を用いて構成を検索する。 AMD Instinct MI355X GPUs with vLLM, SGLang, ATOMでは、11アンカーが9.1GPU時間、204GPU時間でカバーする226の固定長構成を計測した。 172の構成では、出力トークン当たりの時間は8.1%中央値エラーである。 マルチターンコーディングワークロードでは、スループットは8%以内です。 159の非集約配置では、アンカーとして使用せず、スループットは5.5%以内である。 5候補のショートリストには、モデルと遅延ターゲットの最も有効なペアリングの12%以内のデプロイメントが含まれている。

関連論文リスト

• Beyond the Trial-and-Error Loop: Hybrid Projection and Automated Tuning for Distributed Training [20.90211684851616]
  Primus Projectionは、できることを計測し、できないことをシミュレートするハイブリッドプロジェクションエンジンである。 スコープ外の集合体、FSDPオーバーラップ、マルチノードターゲットでの完全なパイプラインスケジュールを解析的に復元する。 純粋なシミュレーションモードはCPU上で完全に動作し、GPUを使わずにプリシリコン計画を可能にする。
  論文  参考訳（メタデータ） (2026-10-14T02:15:28Z)
• SparseDitto: Customizing GPU Kernels for Different Sparsity Patterns with LLM-Based Agentic System [45.52961410486319]
  本稿では,各行列,演算子,ターゲットGPU用のGPUカーネルを構築するLLMベースのシステムであるSparseDittoを提案する。 SparseDittoは、統一設計フレームワークでSpMV、SpMM、SpGEMMをサポートする。 生成されたSpMMカーネルは、最大3.39倍のフルバッチGCNトレーニングを加速する。
  論文  参考訳（メタデータ） (2026-08-05T16:41:03Z)
• KernelSight-LM: A Kernel-Level LLM Inference Simulator [27.54401355597591]
  本稿では,トークンレベルの実行をモデル化し,カーネルレベルの遅延分解を生成する,詳細な推論シミュレータであるKernelSight-LMを提案する。 それぞれのサービスステップを学習された効率項、通信モデル、ホストオーバーヘッドモデルでカーネルモデルに分解する。 カーネルレベルのボトルネックはハードウェア/ソフトウェアの共同設計とキャパシティプランニングをサポートする。
  論文  参考訳（メタデータ） (2026-06-26T19:43:38Z)
• KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch? [13.026983194416168]
  大きな言語モデル(LLM)は、KernelBenchのようなベンチマークでPyTorchを上回っているように見えるカスタムカーネルを生成することができる。 We demonstrate that frontier models often involved in reward hacking to artificially inflate performance。
  論文  参考訳（メタデータ） (2026-06-26T03:22:50Z)
• GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
  カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。 限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。 実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
  論文  参考訳（メタデータ） (2026-05-29T15:56:08Z)
• NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
  この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。 我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。 提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
  論文  参考訳（メタデータ） (2025-05-28T20:43:10Z)
• EAutoDet: Efficient Architecture Search for Object Detection [110.99532343155073]
  EAutoDetフレームワークは、1.4GPU日でオブジェクト検出のための実用的なバックボーンとFPNアーキテクチャを検出できる。 本稿では,一方のエッジ上での候補演算の重みを共有し,それらを一つの畳み込みに集約することでカーネル再利用手法を提案する。 特に、発見されたアーキテクチャは最先端のオブジェクト検出NAS法を超越し、120 FPSで40.1 mAP、49.2 mAP、41.3 FPSをCOCOテストデブセットで達成している。
  論文  参考訳（メタデータ） (2022-03-21T05:56:12Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• A Simple Model for Portable and Fast Prediction of Execution Time and Power Consumption of GPU Kernels [2.9853894456071077]
  このモデルは、Parboil、Rodinia、Polybench-GPU、SHOCなどのベンチマークから189個の計算カーネルを使用してランダムなフォレストに基づいて構築されている。 クロスバリデーションを用いたモデル性能の評価では、中央値平均パーセンテージエラー(MAPE)は8.86-52.00%と1.84-2.94%で、それぞれ5つのGPUで電力予測を行う。
  論文  参考訳（メタデータ） (2020-01-20T13:40:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。