論文の概要: LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving

• arxiv url: http://arxiv.org/abs/2608.08382v1
• Date: Sun, 09 Aug 2026 00:28:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.798036
• Title: LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving
• Title（参考訳）: LLMVisor:マルチテナントLDMサービングのためのリアルタイムレイテンシ属性モデル
• Abstract要約: 共バッチはスループットを向上するが、テナント単位の使用量やコントロール制限は曖昧になる。 本稿では、メモリバウンドおよび計算バウンドフェーズをキャプチャするルーフライン誘導遅延モデルであるLLMVisorを提案する。 トークンカウントベースラインと比較して、LLMVisorは、ほぼ完全なR-二乗を実現し、相対誤差を最大2.5倍まで削減する。
• 参考スコア（独自算出の注目度）: 12.697860184583483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As LLM inference shifts to multi-tenant GPU clusters, co-batching improves throughput but obscures per-tenant usage and limits control. Enabling fractional sharing of the inference engine requires a real-time, per-request attribution primitive that is accurate and light enough to run inside the scheduling loop. We present LLMVisor, a roofline-guided latency attribution model that captures the memory-bound and compute-bound phases via a concise piecewise-linear form over features proportional to FLOPs and memory I/O traffic. LLMVisor decomposes batch latency into additive, per-request shares and runs efficiently at microsecond scale. We evaluate LLMVisor across Llama 3.1-8B and Qwen 2.5-14B/32B on A100/H100 GPUs under varying tensor parallelism and workload mixes. Compared to a token-count baseline, LLMVisor attains near-perfect R-squared and reduces relative error by up to 2.5x and 3.3x at p90 and p99, respectively, for prefill, and by up to 3.5x and 4.4x for decode, despite batching variability and sequence divergence.
• Abstract（参考訳）: LLM推論がマルチテナントGPUクラスタにシフトするにつれて、コバッチはスループットを向上するが、テナント毎の使用率や制限は曖昧になる。 推論エンジンの分数共有を実現するには、スケジューリングループ内を走らせるのに十分な正確で軽量なリアルタイムの要求毎の属性プリミティブが必要である。 本稿では,FLOPとメモリI/Oトラフィックに比例する特徴を補足して,メモリバウンドと計算バウンドの位相を簡潔な一方向線形形式でキャプチャするルーフライン誘導遅延属性モデルであるLLMVisorを提案する。 LLMVisorはバッチレイテンシを付加的,要求毎の共有に分解し,マイクロ秒単位のスケールで効率的に実行する。 Llama 3.1-8B と Qwen 2.5-14B/32B を用いた A100/H100 GPU 上での LLMVisor の評価を行った。 トークンカウントベースラインと比較して、LLMVisorは、バッチのばらつきとシーケンスのばらつきにもかかわらず、プリフィルのために、ほぼ完全なR-2乗を達成し、それぞれp90とp99で2.5xと3.3xの相対誤差を減少させ、デコードのために3.5xと4.4xの相対誤差を減少させる。

関連論文リスト

• Unlocking Lossless Speedups in LLMs via Discrete Diffusion [67.4336730000437]
  大規模言語モデル(LLM)は、その成功の大部分は、次世代の予測(NTP)に負っている。 本稿では,ARモデル分布を定義する新しいモデルのクラスである拡散拡張LDMを紹介する。 我々はこれらのモデルのパラメータを2つのセットに分割する: AR重み、標準NTP目標を用いたトレーニング、軽量拡散重み、同時に複数のトークンを生成する訓練。
  論文  参考訳（メタデータ） (2026-09-03T15:48:43Z)
• Empowering Compact LLMs with Fusion of Layer-wise Exits for Recommendation [59.216721553953]
  大規模言語モデルベースレコメンデータシステム(LLM-RS)は目覚ましい能力を示しているが、現実の多くのアプリケーションでは計算的に持続不可能である。 本稿では,スケーラブルなフルコーパスランキングを維持しつつ,コンパクトなLLMを向上する識別フレームワークを提案する。 Qwen 3 1.7BとLlama 3.2 3Bの3つの実世界のデータセットの実験では、FLEXRecは高い効率を維持しながら最先端の精度を達成している。
  論文  参考訳（メタデータ） (2026-08-18T03:14:28Z)
• Lodestar: An Online-Learning LLM Inference Router [6.819928135489163]
  大規模言語モデル(LLM)推論タスクは、ユーザの知覚するレイテンシに不可欠である。 Lodstarは、分散GPUクラスタのための新しい学習ベースの要求ルーティングシステムである。 Lodstarは平均1.41倍のTTFT、平均1.47倍のP99 TTFTを達成している。
  論文  参考訳（メタデータ） (2026-05-31T01:31:02Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Why Should the Server Do It All?: A Scalable, Versatile, and Model-Agnostic Framework for Server-Light DNN Inference over Massively Distributed Clients via Training-Free Intermediate Feature Compression [6.932768187544348]
  スプリットコンピューティングにおける通信負荷とサーバ負荷の両方を削減するためにIFを圧縮する、リトレーニングフリーでアーキテクチャに依存しないフレームワークであるSLICERを紹介した。 標準的なビジョンとLLMワークロード全体にわたって、SLICERはアップリンクボリュームを最大10倍、サーバGPU時間を最大4.4倍削減する。
  論文  参考訳（メタデータ） (2025-11-03T08:44:13Z)
• TPI-LLM: Serving 70B-scale LLMs Efficiently on Low-resource Edge Devices [36.714057078457195]
  本稿では,70Bスケールモデルに対する計算およびメモリ効率の高いテンソル並列推論システムであるTPI-LLMを提案する。 TPI-LLMは、ユーザのデバイスに機密データをローカルに保持し、スライディングウィンドウメモリスケジューラを導入する。 TPI-LLMは、Accelerateと比較して80%以上、タイム・ツー・ファースト・トークンのレイテンシが低いことを示した。
  論文  参考訳（メタデータ） (2024-10-01T09:18:56Z)
• MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention [36.49445805074941]
  Minference (Milliontokens Inference) は長周期処理の前処理を高速化するスパース計算法である。 我々は,MInferenceが精度を維持しつつ,A100にプリフィルする際の推論遅延を最大10倍に効果的に低減できることを実証した。
  論文  参考訳（メタデータ） (2024-07-02T17:59:56Z)
• Thinking Forward: Memory-Efficient Federated Finetuning of Language Models [21.438831528354513]
  連合学習環境における大規模言語モデル(LLM)の微調整には、リソース制約のあるデバイスに対して過剰なメモリを必要とする。 本稿では,LLMのトレーニング可能な重みをクライアント間で分割するFLアルゴリズムであるSpryを紹介する。 Spryはメモリフットプリントが低く、精度が高く、高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-05-24T13:37:48Z)
• FlexLLM: Token-Level Co-Serving of LLM Inference and Finetuning with SLO Guarantees [19.58773369944074]
  タスク適応には、大規模な言語モデル(LLM)の微調整が不可欠だが、今日のサービススタックは、推論と個別のGPUクラスタ上での微調整を分離している。 本稿では,LLM推論とPEFTに基づく共通GPUのファインタニングをトークンレベルで融合した最初のシステムであるFlexLLMを紹介する。 実行時に、新しいトークンレベルの微調整機構がハイブリッドトークンスケジューラと組み合わせて、共用イテレーション毎に推論とトレーニングトークンを動的にインターリーブする。
  論文  参考訳（メタデータ） (2024-02-29T01:33:08Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。