Fugu-MT 論文翻訳(概要): Rocks, Pebbles and Sand: Modality-aware Scheduling for Multimodal Large Language Model Inference

論文の概要: Rocks, Pebbles and Sand: Modality-aware Scheduling for Multimodal Large Language Model Inference

arxiv url: http://arxiv.org/abs/2603.26498v1
Date: Fri, 27 Mar 2026 15:00:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-30 21:49:48.560328
Title: Rocks, Pebbles and Sand: Modality-aware Scheduling for Multimodal Large Language Model Inference
Title（参考訳）: Rocks, Pebbles, Sand: マルチモーダルな大規模言語モデル推論のためのモダリティ対応スケジューリング
Abstract要約: MLLM(Multimodal Large Language Models)は、ChatGPT、Gemini、Copilotなどのプラットフォームで、テキスト、画像、ビデオとのリッチなインタラクションを可能にする。既存のLLMサービスシステムは、リソースを独占し、ラインのブロッキングとパフォーマンスの低下を引き起こす。 RPS-Serveは、砂が小石や岩の中を素早く流れ、飢餓を避けながら対話的な応答性を確保するためのモダリティ対応スケジューラである。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal Large Language Models (MLLMs) power platforms like ChatGPT, Gemini, and Copilot, enabling richer interactions with text, images, and videos. These heterogeneous workloads introduce additional inference stages, such as vision preprocessing and encoding, that inflate latency and memory demand. Existing LLM serving systems, optimized for text-only workloads, fail under multimodality: large requests (e.g., videos) monopolize resources, causing severe head-of-line blocking and performance degradation. Our key insight is that multimodal requests differ by orders of magnitude in resource demands, which we capture through a simple abstraction: videos behave like rocks, images like pebbles, and text like sand. We design RPS-Serve, a modality-aware scheduler that lets sand flow quickly through pebbles and rocks, ensuring interactive responsiveness while avoiding starvation. RPS-Serve classifies requests, prioritizes them dynamically, and applies aging to avoid starvation. Evaluation across state-of-the-art MLLMs shows that RPS-Serve reduces, on average, time-to-first-token (TTFT) by 54% overall, and by 78.5% for latency-critical requests, compared to current systems. RPS-Serve delivers LLM-like responsiveness for MLLMs, with modality-aware scheduling and by making the most efficient use of the available resources.
Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、ChatGPT、Gemini、Copilotなどのプラットフォームで、テキスト、画像、ビデオとのリッチなインタラクションを可能にする。これらの異種ワークロードは、視覚前処理やエンコーディングなどの追加の推論ステージを導入し、レイテンシとメモリ需要を増大させる。既存のLLMサービスシステムは、テキストのみのワークロードに最適化されており、大きなリクエスト(例:ビデオ)がリソースを独占し、ラインのブロッキングとパフォーマンスの低下を引き起こしている。ビデオは岩のように振る舞い、小石のような画像、砂のようなテキストのように振る舞う。 RPS-Serveは、砂が小石や岩の中を素早く流れ、飢餓を避けながら対話的な応答性を確保するためのモダリティ対応スケジューラである。 RPS-Serveはリクエストを分類し、動的に優先順位付けし、飢餓を避けるために老化を適用する。最先端のMLLMによる評価では、RTS-Serveは、現在のシステムと比較して、平均してTTFT(time-to-first-token)を54%削減し、レイテンシクリティカルな要求に対して78.5%削減している。 RPS-ServeはMLLMに対してLLMのような応答性を提供し、モダリティを考慮したスケジューリングを行い、利用可能なリソースを最大限に活用する。

関連論文リスト

StreamWise: Serving Multi-Modal Generation in Real-Time at Scale [7.73695790907204]
マルチモーダル生成モデルは、ストーリーテリングから自動メディア合成まで、新しいアプリケーションを可能にする。現在、大規模にリアルタイムなマルチモーダルを提供するには費用がかかり複雑であり、多様なモデルの効率的な調整が必要である。適応的でモジュール型のサービスシステムであるStreamWiseを設計し、品質(解像度、シャープさなど)、モデル/コンテンツ並列性、リソースを意識したスケジューリングを動的に管理する。
論文参考訳（メタデータ） (2026-03-06T01:22:16Z)
Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
論文参考訳（メタデータ） (2026-02-03T14:48:12Z)
A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
論文参考訳（メタデータ） (2025-11-19T04:13:36Z)
ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
論文参考訳（メタデータ） (2025-07-01T16:01:08Z)
Tempo: Application-aware LLM Serving with Mixed SLO Requirements [7.290735867969561]
我々は、多様なLLMワークロード間のサービスゲインを最大化するように設計されたスケジューラであるTempoを紹介した。我々の評価によると、Tempoは最先端の設計と比較して、最大で8.3$times$、最大で10.3$times$SLOのサービスゲインを改善する。
論文参考訳（メタデータ） (2025-04-24T05:55:21Z)
STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文参考訳（メタデータ） (2025-03-06T06:17:38Z)
DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
論文参考訳（メタデータ） (2024-11-04T18:26:08Z)
Queue management for slo-oriented large language model serving [3.0134961904579094]
大規模言語モデル(LLM)サービスのためのキュー管理システムであるQLMを提案する。 QLMは、異なるモデルとSLOをまたいだバッチおよびインタラクティブなリクエストをリクエストキューで維持する。リクエスト待ち時間(RWT)推定器を使用し、リクエストキューでのリクエスト待ち時間を推定する。
論文参考訳（メタデータ） (2024-06-05T21:17:34Z)
Llumnix: Dynamic Scheduling for Large Language Model Serving [17.919408899409113]
大規模言語モデル(LLM)に対する推論は、その可能性を解き放つ鍵である。 Llumnixは、実行時再スケジューリングによって、不均一で予測不能な要求に応答するLLMサービスシステムである。 Llumnixはテールレイテンシを桁違いに改善し,高優先度要求を最大1.5倍高速化し,最大36%のコスト削減を実現している。
論文参考訳（メタデータ） (2024-06-05T13:20:18Z)
Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction [8.705908108054878]
大型モデル(LLM)は、多くのドメインにわたるAIアプリケーションの新しい波を駆動している。 LLM出力シーケンス長の予測に光プロキシモデルを用いる投機的ショートストジョブファースト(SSJF)スケジューラを提案する。
論文参考訳（メタデータ） (2024-04-12T14:46:15Z)
CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
論文参考訳（メタデータ） (2024-03-12T04:04:38Z)
Fast Distributed Inference Serving for Large Language Models [12.703624317418237]
大規模言語モデル(LLM)のための分散推論サービスシステムであるFastServeについて述べる。 FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの粒度のプリエンプションを可能にする。我々は,FastServeのシステムプロトタイプを構築し,最先端のソリューションであるvLLMと比較して,同じ平均および末尾遅延条件下でのスループットを最大31.4xと17.9xに改善したことを示す。
論文参考訳（メタデータ） (2023-05-10T06:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。