論文の概要: LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs

• arxiv url: http://arxiv.org/abs/2608.03036v1
• Date: Tue, 04 Aug 2026 02:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.999153
• Title: LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs
• Title（参考訳）: LLM Serving in the Wild: フレームワーク,メソッド,システム設計に関する実証的研究
• Abstract要約: 本研究では,オープンソースソフトウェアシステムにおけるLLMサービスフレームワークとサービス手法の利用について検討する。 VLLM、SGLang、LMRT、FlashInferの5つのフレームワークを特定し分析する。 我々の結果は、vLLMが人気と採用において最も目に見えるフレームワークであることを示しています。
• 参考スコア（独自算出の注目度）: 7.262658027546036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are integrated into software systems and AI services, making efficient LLM serving a concern for software engineering. Serving LLMs is challenging because inference requires computation, memory, GPU resources, and execution while maintaining latency and throughput. Although prior research has proposed LLM inference, optimization, and serving techniques and frameworks, little is known about how they are adopted in practice. In this study, we investigate the use of LLM serving frameworks and serving methods in open-source software systems. We identify and analyze five LLM-specific frameworks: vLLM, SGLang, TensorRT-LLM, LMDeploy, and FlashInfer. We examine how these frameworks and techniques are adopted individually and in combination, how adoption varies across categories of LLMs, and how repositories differ in intent, focus, use case, and architectural design. Our results show that vLLM is the most visible framework in popularity and adoption, while parallel computation, memory management, and network pruning are the most frequently used serving-method categories. Multi-framework usage is limited, suggesting that developers rely on a single serving framework; however, combined frameworks connect complementary capabilities across the serving stack. Framework adoption varies across model families, modalities, model sizes, domain specializations, and deployment settings. Repository-level analysis shows that LLM serving frameworks support applications and architectures, including Reinforcement Learning (RL)-based reasoning, multimodal generation and understanding, microservices, and cloud infrastructure. Overall, this study provides a large-scale empirical characterization of LLM serving framework adoption in practice and offers insights for researchers, framework maintainers, and practitioners working on LLM systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)はソフトウェアシステムやAIサービスに統合され、効率的なLLMがソフトウェア工学の関心事となる。 レイテンシとスループットを維持しながら、推論には計算、メモリ、GPUリソース、実行が必要だ。 以前の研究では、LLM推論、最適化、サービス技術とフレームワークを提案しているが、実際にどのように採用されているかはほとんど分かっていない。 本研究では,オープンソースソフトウェアシステムにおけるLLMサービスフレームワークとサービス手法の利用について検討する。 我々は,LLM固有の5つのフレームワーク,vLLM,SGLang,TensorRT-LLM,LMDeploy,FlashInferを特定し解析する。 これらのフレームワークとテクニックを個別に、組み合わせてどのように採用するか、LLMのカテゴリによってどのように採用が異なり、リポジトリが意図、焦点、ユースケース、アーキテクチャ設計においてどのように異なるかを検討する。 以上の結果から,vLLMは並列計算,メモリ管理,ネットワークプルーニングが最も頻繁に使用されるサービスメソッドカテゴリであるのに対し,普及と採用において最も目に見えるフレームワークであることが示唆された。 マルチフレームワークの使用は制限されており、開発者は単一のサービスフレームワークに依存することを示唆している。 フレームワークの採用は、モデルファミリ、モダリティ、モデルサイズ、ドメインの特殊化、デプロイメント設定によって異なる。 リポジトリレベルの分析によると、LLMサービスフレームワークは、強化学習(RL)ベースの推論、マルチモーダル生成と理解、マイクロサービス、クラウドインフラストラクチャなど、アプリケーションとアーキテクチャをサポートする。 本研究は,LLMを実践する研究者,フレームワークメンテナ,実践者に対して,LLMフレームワークの採用に関する大規模な実証的特徴を提供する。

関連論文リスト

• OpenCompass: A Universal Evaluation Platform for Large Language Models [62.59671563145442]
  汎用大規模言語モデル (LLM) は, 技術の進歩において重要なリンクとなっている。 メインストリームベンチマークデータセットは、タスクタイプの多様性、一貫性のない評価基準、データと処理の断片化といった課題に直面している。 本稿では,ワンストップ,スケーラブル,高精度な汎用評価プラットフォームであるOpen LLMをオープンソースとして提案する。
  論文  参考訳（メタデータ） (2026-05-19T02:50:11Z)
• LLM-I: LLMs are Naturally Interleaved Multimodal Creators [24.64752837827959]
  LLM-Interleaved (LLM-I) は、ツールユース問題としてインターリーブド画像テキスト生成を再設計するフレキシブルで動的フレームワークである。 我々のフレームワークは、中央のLLMエージェントやMLLMエージェントに、特殊な視覚ツールの多種多様なツールキットをインテリジェントにオーケストレーションする権限を与えます。 LLM-Iは最先端のパフォーマンスを実証し、4つのベンチマークで既存の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2025-09-17T02:33:29Z)
• VFLAIR-LLM: A Comprehensive Framework and Benchmark for Split Learning of LLMs [8.920340856412087]
  VFLAIR-LLMは、大規模言語モデルのための軽量な分割学習フレームワークである。 LLM(SL-LLM)設定の各種スプリットラーニングにおける5つの攻撃と9つの防御のベンチマークを行った。
  論文  参考訳（メタデータ） (2025-08-05T05:20:33Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Large Language Models as Software Components: A Taxonomy for LLM-Integrated Applications [0.0]
  大規模言語モデル(LLM)が最近広く採用されている。自律エージェントやソフトウェア工学のツールとしての利用について調査している。 一方、LLMの統合されたアプリケーションは、LLMを利用してタスクを実行するソフトウェアシステムである。 本研究は,LLM統合アプリケーションに対する分類学を提供し,これらのシステムの解析と記述のためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-06-13T21:32:56Z)
• RouterBench: A Benchmark for Multi-LLM Routing System [25.515453832224804]
  パフォーマンスとコストのバランスをとる場合、すべてのタスクやアプリケーションに最適に対処できるモデルは存在しない。 この制限により、個々のLSMの制約を克服するために、様々なモデルの強みを組み合わせたLSMルーティングシステムの開発に繋がった。 本稿では LLM ルーティングシステムの有効性を体系的に評価する新しい評価フレームワークである RouterBench を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:59:04Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。