論文の概要: Cornserve: A Distributed Serving System for Any-to-Any Multimodal Models

• arxiv url: http://arxiv.org/abs/2603.12118v1
• Date: Thu, 12 Mar 2026 16:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.210614
• Title: Cornserve: A Distributed Serving System for Any-to-Any Multimodal Models
• Title（参考訳）: Cornserve: 任意のマルチモーダルモデルのための分散サービングシステム
• Authors: Jae-Won Chung, Jeff J. Ma, Jisang Ahn, Yizhuo Liang, Akshay Jajoo, Myungjin Lee, Mosharaf Chowdhury,
• Abstract要約: 本稿では,汎用的なAny-to-Anyモデルのための分散サービスシステムであるCornserveを紹介する。 分散ランタイムは、効率的なレコード再生実行モデルを介してデータプレーンに計算する。 Cornserveは23Kの新しいPythonで構築されており、さまざまなAny-to-Anyモデルをサポートしている。
• 参考スコア（独自算出の注目度）: 8.786435662094329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Any-to-Any models are an emerging class of multimodal models that accept combinations of multimodal data (e.g., text, image, video, audio) as input and generate them as output. Serving these models are challenging; different requests with different input and output modalities traverse different paths through the model computation graph, and each component of the model have different scaling characteristics. We present Cornserve, a distributed serving system for generic Any-to-Any models. Cornserve provides a flexible task abstraction for expressing Any-to-Any model computation graphs, enabling component disaggregation and independent scaling. The distributed runtime dispatches compute to the data plane via an efficient record-and-replay execution model that keeps track of data dependencies, and forwards tensor data between components directly from the producer to the consumer. Built on Kubernetes with approximately 23K new lines of Python, Cornserve supports diverse Any-to-Any models and delivers up to 3.81$\times$ higher throughput and 5.79$\times$ lower tail latency. Cornserve is open-source, and the demo video is available on YouTube.
• Abstract（参考訳）: Any-to-Anyモデルは、入力としてマルチモーダルデータ(テキスト、画像、ビデオ、オーディオなど)の組み合わせを受け入れ、出力として生成する、新しいマルチモーダルモデルのクラスである。 異なる入力と出力のモダリティを持つ異なるリクエストは、モデル計算グラフを介して異なるパスを横切り、モデルの各コンポーネントは異なるスケーリング特性を持つ。 本稿では,汎用的なAny-to-Anyモデルのための分散サービスシステムであるCornserveを紹介する。 Cornserveは、Any-to-Anyモデル計算グラフを表現するための柔軟なタスク抽象化を提供する。 分散ランタイムは、データ依存関係の追跡を保持する効率的なレコード・アンド・再生実行モデルを通じて、計算をデータプレーンにディスパッチし、プロデューサからコンシューマに直接、コンポーネント間でテンソルデータを転送する。 約23Kの新しいPythonでKubernetes上に構築されたCornserveは、さまざまなAny-to-Anyモデルをサポートし、スループットが3.81$\times$高スループットと5.79$\times$低テールレイテンシを提供する。 Cornserveはオープンソースで、デモビデオはYouTubeで公開されている。

関連論文リスト

• Cornserve: Efficiently Serving Any-to-Any Multimodal Models [8.786435662094329]
  Cornserveは、Any-to-Anyモデルと呼ばれる新しいクラスのマルチモーダルモデルの効率的なオンラインサービスシステムである。 任意の-to-Anyモデルは、入力としてテキストとマルチモーダルデータの組み合わせを受け入れ、出力としてテキストとマルチモーダルデータの組み合わせを生成する。
  論文  参考訳（メタデータ） (2025-12-16T05:14:41Z)
• Navigating the Accuracy-Size Trade-Off with Flexible Model Merging [15.497612580389479]
  我々は、新しいデータフリーモデルマージフレームワークFlexMergeを提案する。 異なる大きさのマージモデルを柔軟に生成し、単一のマージモデルから完全なスペクトルにまたがり、すべての微調整モデルを保持する。 FlexMergeを使って、異なるアルゴリズムの精度と大きさのトレードオフを体系的に特徴づける。
  論文  参考訳（メタデータ） (2025-05-29T07:50:32Z)
• Show-o: One Single Transformer to Unify Multimodal Understanding and Generation [71.24909962718128]
  マルチモーダル理解と生成を統一する統一変換器,すなわちShow-oを提案する。 完全自己回帰モデルとは異なり、Show-oは自己回帰と(離散的な)拡散モデリングを統一し、様々な混合モダリティの入力と出力を適応的に処理する。
  論文  参考訳（メタデータ） (2024-08-22T16:32:32Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• Dissecting Multimodality in VideoQA Transformer Models by Impairing Modality Fusion [54.33764537135906]
  VideoQA Transformerモデルは標準ベンチマークで競合性能を示す。 これらのモデルはビデオとテキストからリッチなマルチモーダル構造とダイナミックスを一緒に捉えていますか? 彼らはバイアスと刺激的な特徴を利用して高いスコアを達成していますか?
  論文  参考訳（メタデータ） (2023-06-15T06:45:46Z)
• AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving [53.01646445659089]
  モデル並列性は、複数のモデルを提供する場合、複数のデバイスの統計多重化に利用できることを示す。 本稿では,大規模ディープラーニングモデルのコレクションを配置・並列化するための効率的な戦略を決定する新しいサービスシステムAlpaServeを提案する。
  論文  参考訳（メタデータ） (2023-02-22T21:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。