論文の概要: ServerlessT2I: Efficient Text-to-Image Workflow Serving on a Serverless Platform
- arxiv url: http://arxiv.org/abs/2607.26566v1
- Date: Wed, 29 Jul 2026 07:39:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.570548
- Title: ServerlessT2I: Efficient Text-to-Image Workflow Serving on a Serverless Platform
- Title（参考訳）: ServerlessT2I: サーバレスプラットフォーム上での効率的なテキストから画像へのワークフロー
- Abstract要約: T2I(Text-to-image)は、ユーザがカスタマイズして間欠的に呼び出すことが多いため、サーバレスプラットフォームへのデプロイが増えている。
既存のプラットフォームでは、各ワークフローを不透明なGPU関数としてデプロイし、ワークフロー内のすべての構成モデルをプロビジョニング、配置、スケーリングする。
サーバーレスT2Iは、T2Iワークフローを疎結合のモデル関数に分解し、独立して管理およびスケジュールできるサーバーレスネイティブシステムである。
- 参考スコア（独自算出の注目度）: 12.291915972120902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image (T2I) workflows are increasingly deployed on serverless platforms because users often compose customized workflows and invoke them intermittently. Existing platforms typically deploy each workflow as an opaque GPU function, provisioning, placing, and scaling all constituent models in the workflow together. This monolithic design obscures workflow structure, inflates scaling overhead, forces users to manage low-level GPU coordination, and limits fine-grained fairness in multi-tenant clusters. In this paper, we present ServerlessT2I, a serverless-native system that decomposes a T2I workflow into loosely coupled model functions that can be independently managed and scheduled. By explicitly managing individual model execution, ServerlessT2I enables per-model scaling, declarative workflow composition, transparent GPU-resident communication, and fairness-aware scheduling. To make this decomposition efficient, ServerlessT2I harvests slack GPU memory left idle by compute-bound T2I inference to build a data plane that reduces model loading and data communication overheads. \sys{} further introduces a fair scheduler for multi-tenant serving. Using production traces, ServerlessT2I sustains up to 2$\times$ higher request rates than existing T2I workflow serving systems with the same GPU budget; for a fixed request rate, it saves up to 3$\times$ GPU resources while satisfying service level objectives (SLOs).
- Abstract（参考訳）: T2I(Text-to-image)ワークフローは、ユーザがカスタマイズされたワークフローを構成して間断的に呼び出すことが多いため、サーバレスプラットフォームへのデプロイが増えている。
既存のプラットフォームでは、各ワークフローを不透明なGPU関数としてデプロイし、ワークフロー内のすべての構成モデルをプロビジョニング、配置、スケーリングする。
このモノリシックな設計は、ワークフロー構造を曖昧にし、スケーリングオーバーヘッドを膨らませ、ユーザは低レベルのGPU調整を管理し、マルチテナントクラスタでのきめ細かい公正さを制限する。
本稿では、T2Iワークフローを疎結合のモデル関数に分解し、独立して管理およびスケジュールできるサーバーレスT2Iを提案する。
ServerlessT2Iは、個々のモデル実行を明示的に管理することにより、モデルごとのスケーリング、宣言型ワークフロー構成、透過的なGPU-レジデント通信、公正なスケジューリングを可能にする。
この分解を効率的にするために、ServerlessT2Iは計算バウンドなT2I推論によってスラックなGPUメモリ左アイドルを収穫し、モデルローディングとデータ通信オーバーヘッドを低減するデータプレーンを構築する。
さらに,マルチテナントサービスのためのフェアスケジューラも導入されている。
運用トレースを使用して、ServerlessT2Iは、同じGPU予算を持つ既存のT2Iワークフローサービスシステムよりも最大2$\times$高い要求レートを持続する。
関連論文リスト
- GraphFlow: A Graph-Based Workflow Management for Efficient LLM-Agent Serving [27.270604867405325]
GraphFlowは、2つのキーデザインを通じてエージェントに効率的に統合するシステムである。
常に最先端の手法を上回り、平均性能は4.95ポイント向上した。
論文 参考訳（メタデータ） (2026-05-21T14:45:40Z) - RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。
分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
論文 参考訳（メタデータ） (2025-12-27T11:14:23Z) - Murakkab: Resource-Efficient Agentic Workflow Orchestration in Cloud Platforms [7.6151320996822625]
MurakkabはエージェントAIアプリケーションのためのリソース効率の高いサービスシステムである。
サービスレベルの目標(SLO)を維持しつつ、使用量を最大2.8ドル、エネルギー消費を3.7ドル、コストを4.3ドルに削減することを示す。
多様なGPUに対する評価では、MurakkabはSLOを維持しながらGPU使用量を最大2.8$times$、エネルギー消費を3.7$times$、コストを4.3$times$に削減している。
論文 参考訳（メタデータ） (2025-08-22T17:41:27Z) - WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。
最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。
LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
論文 参考訳（メタデータ） (2024-11-08T09:58:02Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z) - SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。
SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。
当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
論文 参考訳（メタデータ） (2024-10-04T14:52:18Z) - SwiftDiffusion: Efficient Diffusion Model Serving with Add-on Modules [9.172732822379862]
拡散モデルを使用したテキスト・ツー・イメージ(T2I)生成は、今日のAIクラウドにおけるブロックバスターサービスとなっている。
プロダクションT2Iサービスは一般的に、さまざまな"アドオン"モジュールでベース拡散モデルを拡張したサービスワークフローを伴います。
我々は、総合的なアプローチでT2Iワークフローを効率的に提供するシステムであるSwiftDiffusionを提案する。
論文 参考訳（メタデータ） (2024-07-02T07:59:08Z) - Compass: A Decentralized Scheduler for Latency-Sensitive ML Workflows [0.792324422300924]
我々は、GPU対応のワーカが協調して複雑なクエリを実行する分散システムにおけるMLクエリ処理について検討する。
このようなシステムでは、GPUメモリ管理とタスク配置の共スケジューリングが有望な機会である。
資源を効率的に利用しながら、仕事の遅延を軽減するためにこれらの機能を統一する新しいフレームワークであるCompassを提案する。
論文 参考訳（メタデータ） (2024-02-27T16:21:28Z) - M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task
Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。
現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。
効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-26T15:40:24Z) - Taskflow: A Lightweight Parallel and Heterogeneous Task Graph Computing
System [12.813275501138193]
Taskflowは、軽量なタスクグラフベースのアプローチを使用して、並列および異種アプリケーションの構築を合理化することを目的としている。
我々のプログラミングモデルは、グラフ内制御フローを伴うタスクグラフ並列性の非常に一般的なクラスとして、自分自身を区別する。
我々は実世界のアプリケーションでTaskflowの有望な性能を実証した。
論文 参考訳（メタデータ） (2020-04-23T00:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。