論文の概要: Token Latency Fairness: Performance Isolation for Multi-Tenant LLM Serving
- arxiv url: http://arxiv.org/abs/2609.18112v1
- Date: Wed, 16 Sep 2026 04:33:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.633428
- Title: Token Latency Fairness: Performance Isolation for Multi-Tenant LLM Serving
- Title（参考訳）: Token Latency Fairness:マルチテナントLDM実行時のパフォーマンス分離
- Abstract要約: 以下は、小説『公正性保証』を提供するFairInferenceについて述べる。
よく知られたクライアントの場合、トークンが孤立してd時間単位で生成される場合、マルチテナント実行時にd+時間単位内で生成される。
- 参考スコア（独自算出の注目度）: 20.997762448470407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM serving is typically offered as a shared, multi-tenant service, where high-demand workloads from one client can cause latency SLO violations for others. Existing solutions for performance isolation equalize client throughput in the long run, for example through queueing and batching fairness. However, these approaches do not provide latency isolation guarantees; as a result, well-behaved clients can still experience significant degradation to their token-level latencies. In this paper, we present FairInference, which provides the novel δ-token fairness guarantee: for a well-behaved client, if a token is generated in d time units in isolation, it will be generated within d + δ time units in multi-tenant execution, providing strong latency isolation guarantees for LLM serving. To achieve this, FairInference addresses a key challenge of LLM serving: bounding delays from sharing GPU resources without support for fine-grained scheduling or resource allocation. In FairInference, the scheduler enforces per-token deadlines, while bounding the delays from GPU compute sharing and accounting for the additional delays introduced by the shared KV caching in GPU memory. We show that FairInference effectively bounds token-level latency spikes for well-behaved clients and improves overall throughput compared to state-of-the-art LLM serving systems.
- Abstract（参考訳）: LLMサービスは通常、共有マルチテナントサービスとして提供され、あるクライアントからの要求の高いワークロードは、他のクライアントに対してレイテンシSLO違反を引き起こす可能性がある。
パフォーマンス分離のための既存のソリューションは、例えばキューとバッチの公平性を通じて、長期的にクライアントのスループットを均等にします。
しかしながら、これらのアプローチはレイテンシ分離の保証を提供していない。結果として、十分に定義されたクライアントは、トークンレベルのレイテンシが大幅に低下する可能性がある。
本稿では,新しいδ-tokenのフェアネス保証を提供するFairInferenceについて述べる。よく知られたクライアントの場合,d時間単位でトークンが生成されると,マルチテナント実行時にd+δ時間単位内でトークンが生成される。
これを実現するため、FairInferenceはLLMが提供する重要な課題に対処している。
FairInferenceでは、スケジューラは、GPU計算共有からの遅延を制限し、GPUメモリ内の共有KVキャッシュによってもたらされる追加遅延を考慮しながら、トークン単位の期限を強制する。
本研究では,FairInferenceがトークンレベルの遅延スパイクを効果的にバインドし,最新のLCMサービスシステムと比較して全体的なスループットを向上させることを示す。
関連論文リスト
- SynerDiff: Synergetic Continuous Batching for Fast and Parallel Diffusion Model Inference [8.251374398589906]
既存の連続的な手法は、UNet-VAE中に深刻なリソース競合に悩まされる。
イントライントライントラレベルのシナジー上に構築された効率的な連続システムであるSynerDiffを提案する。
論文 参考訳（メタデータ） (2026-05-09T09:39:39Z) - HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。
損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。
Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
論文 参考訳（メタデータ） (2026-01-16T07:37:23Z) - Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。
我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
論文 参考訳（メタデータ） (2025-06-30T02:56:11Z) - Semi-Clairvoyant Scheduling of Speculative Decoding Requests to Minimize LLM Inference Latency [4.372762934308627]
本稿では,LAPS-SD(Least-Attained/Perceived-Service for Speculative Decoding)と呼ばれる半クレアボイト要求スケジューリングアルゴリズムを提案する。
LAPS-SDは、デコーディング中に、要求を特徴に応じて適応的にスケジューリングすることで、平均推論遅延を効果的に最小化することができる。
LAPS-SDは、最先端のスケジューリング手法と比較して、推論遅延を約39%削減する。
論文 参考訳（メタデータ） (2025-05-20T04:12:37Z) - HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location [6.727166537196941]
大規模言語モデル(LLM)は、異なるサービスレベルの目的(SLO)を持つ幅広いアプリケーションを容易にした。
既存のデプロイメントモデルは、各ワークロードにマシンを割り当て、SLO管理を単純化するが、リソース利用の低さにつながることが多い。
本稿では、オンラインおよびオフラインワークロードの効率的なコロケーションを可能にする干渉対応LLMサービスシステムであるHyGenを紹介する。
論文 参考訳（メタデータ） (2025-01-15T16:32:27Z) - ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving [61.35068981176018]
ConServeは、高いスループットと強力なオンラインレイテンシ保証を実現する大規模言語モデル(LLM)サービスシステムである。
我々は,ConServeが平均2.2$times$高スループットを実現し,オンラインサービステールのレイテンシを最先端システムと比較して平均2.9$times$削減することを示した。
論文 参考訳（メタデータ） (2024-10-02T04:12:13Z) - InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory [93.20588235940453]
本稿では,トレーニング不要なメモリベースのInfLLMを提案する。
InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。
シーケンス長が$1,024$Kにスケールしても、InfLLMは依然として、長距離依存関係を効果的にキャプチャする。
論文 参考訳（メタデータ） (2024-02-07T06:50:42Z) - Fairness in Serving Large Language Models [45.81800239353461]
本稿では,処理された入出力トークンの数を考慮したコスト関数に基づくサービスフェアネスの定義を提案する。
本稿では,新たなスケジューリングアルゴリズムであるVirtual Counter Token (VTC)を提案する。
サービススケジューラの2倍の厳しい上限を証明し、作業保守の要件に準拠します。
論文 参考訳（メタデータ） (2023-12-31T21:15:54Z) - Fast Distributed Inference Serving for Large Language Models [12.703624317418237]
大規模言語モデル(LLM)のための分散推論サービスシステムであるFastServeについて述べる。
FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの粒度のプリエンプションを可能にする。
我々は,FastServeのシステムプロトタイプを構築し,最先端のソリューションであるvLLMと比較して,同じ平均および末尾遅延条件下でのスループットを最大31.4xと17.9xに改善したことを示す。
論文 参考訳（メタデータ） (2023-05-10T06:17:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。