論文の概要: FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads
- arxiv url: http://arxiv.org/abs/2607.19349v1
- Date: Fri, 17 Apr 2026 13:02:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.124077
- Title: FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads
- Title（参考訳）: FineServe: 細粒度データセットとグローバルLLM実行ワークロードの特性評価
- Abstract要約: FineServeは、グローバルな商用マーケットプレースから収集された、WildのマルチモデルLDMサービスワークロードデータセットである。
我々は到着ダイナミクスとトークンの挙動を包括的に分析し、モデルアーキテクチャ、スケール、タスク間で根本的に異なる変動状態を明らかにする。
我々はFinServeワークロードジェネレータを開発し、細粒度モデル対応のワークロードを、マルチモデルサービスプラットフォームのベンチマークに適したミックスに構成する。
- 参考スコア（独自算出の注目度）: 16.76279354590167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly deployed as always-on online services, making efficient LLM serving a critical systems challenge. Achieving low latency and high throughput under volatile demand requires deep understanding of real-world serving workloads, yet existing studies often rely on proxy traces or coarse-grained characterizations that fail to capture the heterogeneity of modern multi-model LLM platforms. We present FineServe, an in-the-wild, multi-model LLM serving workload dataset collected from a global commercial marketplace, enabling fine-grained characterization of real-world serving dynamics across heterogeneous models and tasks. Leveraging FineServe, we conduct a comprehensive analysis of arrival dynamics and token behavior, revealing fundamentally different fluctuation regimes across model architectures, scales and task intents. Building on these insights, we develop the FineServe workload generator, which composes fine-grained model-aware workloads into configurable mixtures tailored for benchmarking multi-model serving platforms. By exposing these fine-grained workload dynamics, FineServe provides a realistic foundation for evaluating routing, scheduling, and capacity-planning strategies in LLM serving systems. FineServe is available at https://github.com/hihiztc1/FineServe.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、常にオンラインサービスとしてデプロイされるようになり、効率的なLLMが重要なシステム課題となる。
揮発性要求下での低レイテンシと高いスループットを実現するには、現実のサービスワークロードの深い理解が必要だが、既存の研究はしばしば、現代的なマルチモデルLLMプラットフォームの不均一性を捉えるのに失敗したプロキシトレースや粗い粒度のキャラクタリゼーションに依存している。
In-the-wild, multi-model LLM service load data collected from a global commercial marketplace, which possible a fine-fine characterization of real-world service dynamics across heterogeneous model and task。
FineServeを活用することで、モデルのアーキテクチャ、スケール、タスク意図にまたがる根本的に異なる変動状態を明らかにする、到着ダイナミクスとトークン動作の包括的な分析を行う。
これらの知見に基づいて、我々はFineServeワークロードジェネレータを開発し、細粒度のモデル対応ワークロードを、マルチモデルサービスプラットフォームをベンチマークするための設定可能なミックスに構成する。
これらのきめ細かいワークロードのダイナミクスを明らかにすることで、FinServeはLLMサービスシステムにおけるルーティング、スケジューリング、キャパシティプランニング戦略を評価するための現実的な基盤を提供する。
FineServeはhttps://github.com/hiztc1/FineServe.comで入手できる。
関連論文リスト
- Co-Training Vision Language Models for Remote Sensing Multi-task Learning [68.15604397741753]
視覚言語モデル(VLM)は、RS画像理解、グラウンド化、超高解像度(UHR)画像推論において有望な結果を得た。
本稿では,RSMTLのための簡易かつ柔軟なVLMベースラインであるRSCoVLMを提案する。
本稿では、RS画像に固有の多様な画像スケールに対処する、統一された動的解像度戦略を提案する。
論文 参考訳（メタデータ） (2025-11-26T10:55:07Z) - Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。
当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
論文 参考訳（メタデータ） (2025-10-29T12:08:07Z) - LLM-empowered Dynamic Prompt Routing for Vision-Language Models Tuning under Long-Tailed Distributions [3.5268162595059076]
本稿では,視覚言語モデル(VLM)のための多次元動的プロンプトルーティング(MDPR)フレームワークを提案する。
MDPRは5つの視覚的セマンティック次元にまたがる、クラスのための総合的な知識ベースを構築する。
CIFAR-LT、ImageNet-LT、Places-LTなどの長期ベンチマークの実験は、MDPRが現在のSOTAメソッドと同等の結果を得ることを示した。
論文 参考訳（メタデータ） (2025-08-21T16:12:06Z) - Quality-of-Service Aware LLM Routing for Edge Computing with Multiple Experts [18.479200918676575]
大きな言語モデル(LLM)は目覚ましい機能を示しており、LLMサービスのユーザ需要が大幅に増加した。
しかしながら、クラウドベースのLLMサービスは、高いレイテンシ、不安定な応答性、プライバシの懸念に悩まされることが多い。
本稿では,持続的高品質LLMサービスのための深層強化学習に基づくルーティングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-01T00:45:15Z) - INFERENCEDYNAMICS: Efficient Routing Across LLMs through Structured Capability and Knowledge Profiling [44.309917620936474]
InferenceDynamicsは、モデルの能力と知識をモデル化することによって、柔軟でスケーラブルな多次元ルーティングフレームワークである。
包括的データセットであるRouteMixで運用し、グループレベルのルーティングの有効性と一般化性を実証する。
論文 参考訳（メタデータ） (2025-05-22T06:56:51Z) - MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。
MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。
完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
論文 参考訳（メタデータ） (2025-05-12T17:35:43Z) - WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。
我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。
この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
論文 参考訳（メタデータ） (2025-04-23T02:54:31Z) - Keeping Yourself is Important in Downstream Tuning Multimodal Large Language Model [63.14883657299359]
MLLM(Multi-modal Large Language Models)は、視覚的および言語的推論を統合して、画像キャプションや視覚的質問応答といった複雑なタスクに対処する。
ダウンストリームタスクのためのMLLMのチューニングには,2つの重要な課題がある。タスク-Expert – 事前トレーニングとターゲットデータセット間の分散シフトによってターゲットのパフォーマンスが制限される。
論文 参考訳（メタデータ） (2025-03-06T15:29:13Z) - IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts [28.9807389592324]
機械学習のワークフローを自動化するための有望なソリューションとして、大規模言語モデル(LLM)エージェントが登場した。
LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを紹介します。
実際のトレーニングフィードバックに基づいて個々のコンポーネントを体系的に更新することにより、イテレーティブリファインメントはモデル全体のパフォーマンスを改善する。
論文 参考訳（メタデータ） (2025-02-25T01:52:37Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - RLS3: RL-Based Synthetic Sample Selection to Enhance Spatial Reasoning in Vision-Language Models for Indoor Autonomous Perception [20.01853641155509]
自然言語命令に基づくアプリケーション固有の視覚的グラウンドニングのための視覚言語モデル(VLM)は、学習可能な自律システムにおいて最も一般的なアプローチの1つである。
本稿では, 強化学習(RL)エージェントと統合することにより, VLMファインチューニングを改善するための新しい一般化可能なフレームワークを提案する。
論文 参考訳（メタデータ） (2025-01-31T04:30:42Z) - MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning [25.45278447786954]
MLLM-LLaVA-FL(Multimodal Large Language Model Assisted Federated Learning)と呼ばれる新しいフェデレーション学習フレームワークを導入する。
当社のフレームワークは,Webサイトや強力なサーバサイド計算リソースからアクセス可能な,広範かつ未公開のオープンソースデータを活用することに長けています。
論文 参考訳（メタデータ） (2024-09-09T21:04:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。