Fugu-MT 論文翻訳(概要): LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs

論文の概要: LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs

arxiv url: http://arxiv.org/abs/2608.03036v1
Date: Tue, 04 Aug 2026 02:33:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:22.999153
Title: LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs
Title（参考訳）: LLM Serving in the Wild: フレームワーク,メソッド,システム設計に関する実証的研究
Abstract要約: 本研究では,オープンソースソフトウェアシステムにおけるLLMサービスフレームワークとサービス手法の利用について検討する。 VLLM、SGLang、LMRT、FlashInferの5つのフレームワークを特定し分析する。我々の結果は、vLLMが人気と採用において最も目に見えるフレームワークであることを示しています。
参考スコア（独自算出の注目度）: 7.262658027546036
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) are integrated into software systems and AI services, making efficient LLM serving a concern for software engineering. Serving LLMs is challenging because inference requires computation, memory, GPU resources, and execution while maintaining latency and throughput. Although prior research has proposed LLM inference, optimization, and serving techniques and frameworks, little is known about how they are adopted in practice. In this study, we investigate the use of LLM serving frameworks and serving methods in open-source software systems. We identify and analyze five LLM-specific frameworks: vLLM, SGLang, TensorRT-LLM, LMDeploy, and FlashInfer. We examine how these frameworks and techniques are adopted individually and in combination, how adoption varies across categories of LLMs, and how repositories differ in intent, focus, use case, and architectural design. Our results show that vLLM is the most visible framework in popularity and adoption, while parallel computation, memory management, and network pruning are the most frequently used serving-method categories. Multi-framework usage is limited, suggesting that developers rely on a single serving framework; however, combined frameworks connect complementary capabilities across the serving stack. Framework adoption varies across model families, modalities, model sizes, domain specializations, and deployment settings. Repository-level analysis shows that LLM serving frameworks support applications and architectures, including Reinforcement Learning (RL)-based reasoning, multimodal generation and understanding, microservices, and cloud infrastructure. Overall, this study provides a large-scale empirical characterization of LLM serving framework adoption in practice and offers insights for researchers, framework maintainers, and practitioners working on LLM systems.
Abstract（参考訳）: 大規模言語モデル(LLM)はソフトウェアシステムやAIサービスに統合され、効率的なLLMがソフトウェア工学の関心事となる。レイテンシとスループットを維持しながら、推論には計算、メモリ、GPUリソース、実行が必要だ。以前の研究では、LLM推論、最適化、サービス技術とフレームワークを提案しているが、実際にどのように採用されているかはほとんど分かっていない。本研究では,オープンソースソフトウェアシステムにおけるLLMサービスフレームワークとサービス手法の利用について検討する。我々は,LLM固有の5つのフレームワーク,vLLM,SGLang,TensorRT-LLM,LMDeploy,FlashInferを特定し解析する。これらのフレームワークとテクニックを個別に、組み合わせてどのように採用するか、LLMのカテゴリによってどのように採用が異なり、リポジトリが意図、焦点、ユースケース、アーキテクチャ設計においてどのように異なるかを検討する。以上の結果から,vLLMは並列計算,メモリ管理,ネットワークプルーニングが最も頻繁に使用されるサービスメソッドカテゴリであるのに対し,普及と採用において最も目に見えるフレームワークであることが示唆された。マルチフレームワークの使用は制限されており、開発者は単一のサービスフレームワークに依存することを示唆している。フレームワークの採用は、モデルファミリ、モダリティ、モデルサイズ、ドメインの特殊化、デプロイメント設定によって異なる。リポジトリレベルの分析によると、LLMサービスフレームワークは、強化学習(RL)ベースの推論、マルチモーダル生成と理解、マイクロサービス、クラウドインフラストラクチャなど、アプリケーションとアーキテクチャをサポートする。本研究は,LLMを実践する研究者,フレームワークメンテナ,実践者に対して,LLMフレームワークの採用に関する大規模な実証的特徴を提供する。

論文の概要: LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs

関連論文リスト