論文の概要: ViCoStream: Streaming VideoLLMs Can Run Beyond 100 FPS with Stage-Wise Coordinated Inference

• arxiv url: http://arxiv.org/abs/2606.19849v1
• Date: Thu, 18 Jun 2026 06:57:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.688008
• Title: ViCoStream: Streaming VideoLLMs Can Run Beyond 100 FPS with Stage-Wise Coordinated Inference
• Title（参考訳）: ViCoStream:ステージワイズ協調推論で100FPSを超えるビデオLLMをストリーミング可能
• Authors: Yang Tan, Junlong Tong, Linan Yue, Hao Wu, Pengfei Fang, Xiaoyu Shen,
• Abstract要約: ViCoStreamは、チャンクワイズ実行、ビジュアルトークン制御、バウンドビジュアルアテンション、クエリサイド検索、メモリコストを組み合わせた、ステージワイドなストリーミングフレームワークである。 ViCoStreamは、1つのA100 GPU上で134FPSビデオスループットと50ms TTFT未満のTTFTを実現し、全方位ベースラインに近い精度を維持していることを示す。
• 参考スコア（独自算出の注目度）: 28.470202983949886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming VideoLLMs must continuously process incoming video while maintaining low query latency, making both video-ingestion throughput and query-time responsiveness critical for real-time deployment. Existing methods largely focus on accelerating individual modules, such as visual encoding, token pruning, or KV-cache compression, but provide limited insight into whether the resulting system can sustain real-time streaming performance. We formulate streaming VideoLLM inference as a coordinated pipeline spanning visual preprocessing, visual encoding, token dropping, and LLM prefilling/decoding. Building on this formulation, we propose ViCoStream (Video Coordinated Streaming), a stage-wise coordinated streaming framework that combines chunk-wise execution, CUDA-stream overlap, visual token control, bounded visual attention, and query-side retrieval to bound per-chunk computation and memory costs. We further provide a systematic study of bottleneck migration, revealing how chunk size, token retention, attention locality, and retrieval scope shape the throughput-accuracy trade-off. Experiments with Qwen2.5-VL-3B/7B-Instruct across multiple streaming benchmarks show that ViCoStream achieves 134 FPS video throughput and less than 50 ms TTFT on a single A100 GPU while maintaining accuracy close to full-history baselines.
• Abstract（参考訳）: VideoLLMのストリーミングは、クエリレイテンシを低く保ちながら、着信ビデオの継続的な処理が必要であり、リアルタイムデプロイメントには、ビデオ入力のスループットとクエリ時の応答性の両方が不可欠である。 既存の手法は主に、ビジュアルエンコーディング、トークンプルーニング、KV-cache圧縮などの個々のモジュールの高速化に重点を置いている。 我々は,ビデオLLM推論を,視覚前処理,視覚的エンコーディング,トークンドロップ,LLMプリフィル/デコードにまたがる協調パイプラインとして定式化する。 この定式化に基づいて、チャンクワイズ実行、CUDAストリームオーバーラップ、視覚トークン制御、バウンド・ビジュアル・アテンション、クエリ側検索とチャンク毎の計算とメモリコストを組み合わせた、ステージワイドな協調ストリーミング・フレームワークであるViCoStream(Video Coordinated Streaming)を提案する。 さらに、ボトルネックマイグレーションの体系的研究を行い、チャンクサイズ、トークン保持、アテンションローカリティ、検索範囲がスループットと精度のトレードオフを形作るかを明らかにする。 複数のストリーミングベンチマークを対象としたQwen2.5-VL-3B/7B-Instructの実験によると、ViCoStreamは1つのA100 GPU上で134 FPSビデオスループットと50ms TTFT未満のTTFTを実現し、フルヒストリーベースラインに近い精度を維持している。

関連論文リスト

• Harnessing Streaming Video in the Wild [53.23721420272668]
  VLM(Vision-Language Models)は、ビデオコールアシスタント、ライブコメンタリー、エンボディロボットなどのアプリケーションでビデオストリームを処理するためにますます必要とされる。 理想的なストリーミングシステムは、アクティブなインタラクション、長期メモリ、リアルタイム処理をサポートする必要がある。 既存のVLMはオフラインのビデオ理解に優れていますが、ストリーミング機能に欠け、ストリーミングデプロイメント専用のインフラストラクチャが欠如しています。
  論文  参考訳（メタデータ） (2026-06-07T13:00:19Z)
• CodecSight: Leveraging Video Codec Signals for Efficient Streaming VLM Inference [4.835489391255295]
  我々は、圧縮の副産物として、ビデオコーデックが各ストリームの時間的・空間的構造を抽出しているというキー観測に基づいて構築されたストリーミングビデオ分析システム、CodecSightを提案する。 CodecSightはこのメタデータを低コストの信号として扱い、ビデオデコード、ビジュアルプロセッシング、LLMプリフィルのランタイム最適化を統一する。 実験によると、CodecSightはスループットを最大3$times$で改善し、GPU計算を最先端のベースラインよりも最大87%削減し、競争精度を維持している。
  論文  参考訳（メタデータ） (2026-04-07T16:31:45Z)
• Stream2LLM: Overlap Context Streaming and Prefill for Reduced Time-to-First-Token (TTFT) [2.8350851063316873]
  ストリーミングコンテキスト – 推論による重なり合う検索 – は、このレイテンシを軽減することができる。 本稿では,ストリーミング対応LLMサービスシステムStream2LLMについて述べる。
  論文  参考訳（メタデータ） (2026-03-29T06:49:12Z)
• Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously [69.0264594684213]
  Video Streaming Thinking (VST) はビデオ理解のための新しいパラダイムである。 ストリーミング中のビデオクリップの推論を起動するメカニズムを視聴しながら思考をサポートする。 VSTはリアルタイム応答性を維持しながら、タイムリーな理解とコヒーレント認知を改善する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:51Z)
• HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding [92.59317281526239]
  HERMESは、ビデオストリームのリアルタイムかつ正確な理解のためのトレーニング不要アーキテクチャである。 HermesはコンパクトなKVキャッシュを再利用し、リソース制約下で効率的なストリーミング理解を可能にする。 Hermesはすべてのベンチマークで優れた精度または同等の精度を実現しており、ストリーミングデータセットでは最大11.4%向上している。
  論文  参考訳（メタデータ） (2026-01-21T07:26:15Z)
• MotionStream: Real-Time Video Generation with Interactive Motion Controls [60.403597895657505]
  単一GPU上で最大29FPSのストリーミング生成が可能なサブ秒レイテンシを実現するMotionStreamを提案する。 提案手法は,グローバルなテキストプロンプトとローカルなモーションガイダンスに準拠する高品質なビデオを生成するが,リアルタイムでは推論を行わないモーションコントロールによるテキスト・ツー・ビデオモデルの拡張から始まる。 我々のモデルでは、動きの追従と映像の質を2桁高速化し、無限長のストリーミングを可能にする。
  論文  参考訳（メタデータ） (2025-11-03T06:37:53Z)
• StreamingVLM: Real-Time Understanding for Infinite Video Streams [23.94087606884915]
  StreamingVLMは、無限視覚入力のリアルタイムで安定した理解のために設計されたモデルである。 私たちのアプローチは、トレーニングとストリーミング推論を整合させる統合フレームワークです。 Inf-Streams-Evalでは、StreamingVLMはGPT-4O miniに対して66.18%の勝利率を獲得し、1つのNVIDIA H100上で最大8FPSで安定したリアルタイムパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2025-10-10T17:59:58Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。