論文の概要: A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing

• arxiv url: http://arxiv.org/abs/2608.13573v2
• Date: Mon, 07 Sep 2026 02:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.202214
• Title: A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing
• Title（参考訳）: LLMの1年 - ワークロードの進化,キャッシング,ロードバランシング
• Abstract要約: 大規模言語モデル(LLM)が重要なクラウドワークロードとなっている。 既存のLLMサービスワークロードの研究は、規模と範囲が限られている。 この研究は、企業Xからの1年間の生産トレースのグローバルなキャラクタリゼーションと縦断的研究を通じて、実世界のLLMサービスワークロードの理解を深める。
• 参考スコア（独自算出の注目度）: 1.4406911393060466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) serving has become a critical cloud workload, and realistic traces are essential for motivating and benchmarking serving systems. However, existing LLM serving workload studies remain limited in scale and scope. They often observe short time periods and provide limited visibility into how users interact with models in production. As a result, they do not fully capture how LLM serving workloads evolve over time or how user-model interactions shape production traffic. In this work, we further the understanding of real-world LLM serving workloads through both a global characterization and a longitudinal study of a one-year production trace from CompanyX. Unlike prior studies, our trace captures full production behavior across many models and users, including both popular and long-tail models. We analyze the workload from aggregate, temporal, model-level, and user-level perspectives, revealing workload evolution and user-model structure that are typically hidden behind aggregate views. To support future research, we publicly release the full one-year trace, enabling downstream studies of production behavior without relying on sampled or synthetically generated workloads. The trace is available at https://github.com/HarvardMadSys/chutes_workload.
• Abstract（参考訳）: 大規模言語モデル(LLM)のサービス提供は、クラウドのワークロードにとって重要なものとなり、現実的なトレースは、サービスシステムのモチベーションとベンチマークに不可欠である。 しかし、既存のLLMサービスワークロード研究は、規模と範囲に制限がある。 彼らはしばしば短い期間を観察し、ユーザーが本番環境でモデルとどのように相互作用するかについて限られた可視性を提供します。 結果として、LLMサービスワークロードが時間の経過とともにどのように進化するか、あるいはユーザモデル間のインタラクションがプロダクショントラフィックを形作るのか、完全には把握できない。 本研究では,企業Xのグローバルな特徴と1年間の生産トレースの縦断的研究を通じて,実世界のLLMサービスワークロードの理解を深める。 これまでの研究とは異なり、私たちのトレースは、人気モデルとロングテールモデルの両方を含む、多くのモデルとユーザにわたる完全なプロダクションの振る舞いをキャプチャします。 我々は、集約、時間的、モデルレベル、およびユーザレベルの視点からワークロードを分析し、一般的に集約ビューの後ろに隠れているワークロードの進化とユーザモデル構造を明らかにする。 将来の研究をサポートするため、私たちは、サンプルや合成されたワークロードに頼ることなく、生産行動の下流での研究を可能にする、完全な1年間のトレースを公開しています。 トレースはhttps://github.com/HarvardMadSys/chutes_workload.comで公開されている。

関連論文リスト

• FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads [16.76279354590167]
  FineServeは、グローバルな商用マーケットプレースから収集された、WildのマルチモデルLDMサービスワークロードデータセットである。 我々は到着ダイナミクスとトークンの挙動を包括的に分析し、モデルアーキテクチャ、スケール、タスク間で根本的に異なる変動状態を明らかにする。 我々はFinServeワークロードジェネレータを開発し、細粒度モデル対応のワークロードを、マルチモデルサービスプラットフォームのベンチマークに適したミックスに構成する。
  論文  参考訳（メタデータ） (2026-04-17T13:02:56Z)
• Exploring Graph Tasks with Pure LLMs: A Comprehensive Benchmark and Investigation [26.19182768810174]
  グラフ構造化データは、さまざまな領域でますます普及し、グラフタスクを処理する効果的なモデルに対する需要が高まっている。 グラフニューラルネットワーク(GNN)のような従来のグラフ学習モデルは、大きな進歩を遂げているが、グラフデータを扱う能力は、特定のコンテキストにおいて制限されている。 近年,グラフタスクの候補として大規模言語モデル (LLM) が登場しているが,ほとんどの研究はパフォーマンスベンチマークに重点を置いている。
  論文  参考訳（メタデータ） (2025-02-26T03:03:46Z)
• An Efficient Model Maintenance Approach for MLOps [14.239954811469506]
  既存の機械学習(ML)のメンテナンスアプローチは、しばしば計算資源集約、コスト削減、時間消費、モデル依存である。 我々は、MLOpsパイプラインの改善、新しいモデルメンテナンスアプローチ、およびMLモデルメンテナンスの課題に対処するSimisity-Based Model Reuse(SimReuse)ツールを提案する。 5つの時系列データセットに対する評価結果から,モデル再利用手法がモデルの性能を維持できることを示すとともに,メンテナンス時間,コスト,再訓練回数を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2024-12-05T23:02:02Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Scanflow: A multi-graph framework for Machine Learning workflow management, supervision, and debugging [0.0]
  本稿では,エンドツーエンドの機械学習ワークフロー管理を支援するコンテナ化指向グラフフレームワークを提案する。 このフレームワークは、コンテナ内でMLを定義してデプロイし、メタデータを追跡し、本番環境での振る舞いを確認し、学習された知識と人為的な知識を使用してモデルを改善する。
  論文  参考訳（メタデータ） (2021-11-04T17:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。