論文の概要: StreamAhead: Real-Time Streaming Video Question Answering via Adaptive Precomputation

• arxiv url: http://arxiv.org/abs/2610.25551v1
• Date: Sun, 18 Oct 2026 21:48:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:21:49.0991
• Title: StreamAhead: Real-Time Streaming Video Question Answering via Adaptive Precomputation
• Title（参考訳）: StreamAhead:Adaptive Precomputationによるリアルタイムストリーミングビデオ質問回答
• Abstract要約: ビジョン言語モデルで回答するリアルタイムのストリーミングビデオ質問は、低レイテンシでいつでも到着するクエリに答えなければならない。 本稿では,適応型事前計算によってこのトレードオフを利用するアルゴリズムシステムの共同設計であるStreamAheadを紹介する。 StreamAheadはビデオセグメントを独立してエンコードし、それぞれが異なる表現レベルに留まることができる。
• 参考スコア（独自算出の注目度）: 4.273730624882391
• License:
• Abstract: Real-time streaming video question answering with vision-language models must answer queries that arrive at any time with low latency while sustaining the video-processing rate required by the application. Existing systems construct key-value (KV) caches for the entire video as it arrives, although a query typically uses only a few of the preceding frames as evidence. This highlights a fundamental trade-off: performing more computation as video arrives reduces query-time computation but can increase processing lag, whereas deferring computation can increase the video-processing rate but requires additional query-time computation for retrieved content. We present StreamAhead, an algorithm-system co-design that exploits this trade-off through adaptive precomputation: dynamically controlling how much computation to complete for each video segment before a query arrives. StreamAhead encodes video segments independently and lets each remain at a different representation level, from inexpensive visual features to costly KV caches, completing KV caches only for the retrieved segments when a query arrives. StreamAhead profiles offline the cost of advancing a segment to each representation level. Its runtime uses these profiles to schedule segment computation concurrently with query execution, pipelining it across heterogeneous CPU and GPU resources while maintaining the required video-processing rate. StreamAhead achieves accuracy competitive with state-of-the-art methods with up to 10.4x lower time-to-first-token (TTFT), and up to 5.9x lower TTFT than state-of-the-art streaming systems. It sustains 30 FPS with P95 TTFT under 0.5 s, and up to 57 FPS with P95 TTFT under 2 s. To our knowledge, StreamAhead is the first real-time streaming video QA system with competitive accuracy, setting a new Pareto frontier between video-processing rate and TTFT.
• Abstract（参考訳）: ビジョン言語モデルで回答するリアルタイムのストリーミングビデオ質問は、アプリケーションに必要なビデオ処理速度を維持しながら、低レイテンシでいつでも到着するクエリに答えなければならない。 既存のシステムは、到着時にビデオ全体のキー値(KV)キャッシュを構築するが、クエリは通常、前回のフレームのごく一部しかエビデンスとして使用しない。 ビデオが到着するとクエリ時間計算が減少するが、処理遅延が増大する一方、遅延計算はビデオ処理速度を増大させるが、検索されたコンテンツに対してクエリ時間計算を追加する必要がある。 クエリが到着する前に、各ビデオセグメントに対して、どれだけの計算が完了するかを動的に制御する、適応型事前計算によって、このトレードオフを利用するアルゴリズムシステムの共同設計であるStreamAheadを紹介します。 StreamAheadはビデオセグメントを独立してエンコードし、安価なビジュアル機能から高価なKVキャッシュに至るまで、それぞれが異なる表現レベルに留まることができる。 StreamAheadプロファイルは、セグメントを各表現レベルに前進させるコストをオフラインにする。 そのランタイムは、これらのプロファイルを使用して、セグメント計算とクエリ実行を同時にスケジュールし、必要なビデオ処理率を維持しながら、異種CPUとGPUリソースをパイプライン化する。 StreamAheadは10.4倍のタイム・ツー・ファースト・トケン(TTFT)、そして5.9倍のTTFTで最先端のストリーミングシステムと競合する精度を実現している。 P95 TTFTは0.5秒以下で30FPS、P95 TTFTは2秒以下で57FPSまで持続する。 われわれの知る限り、StreamAheadは競争力のある最初のリアルタイムストリーミングビデオQAシステムであり、ビデオ処理速度とTTFTの間に新しいParetoフロンティアを設定している。

関連論文リスト

• ViCoStream: Streaming VideoLLMs Can Run Beyond 100 FPS with Stage-Wise Coordinated Inference [28.470202983949886]
  ViCoStreamは、チャンクワイズ実行、ビジュアルトークン制御、バウンドビジュアルアテンション、クエリサイド検索、メモリコストを組み合わせた、ステージワイドなストリーミングフレームワークである。 ViCoStreamは、1つのA100 GPU上で134FPSビデオスループットと50ms TTFT未満のTTFTを実現し、全方位ベースラインに近い精度を維持していることを示す。
  論文  参考訳（メタデータ） (2026-06-18T06:57:31Z)
• HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding [92.59317281526239]
  HERMESは、ビデオストリームのリアルタイムかつ正確な理解のためのトレーニング不要アーキテクチャである。 HermesはコンパクトなKVキャッシュを再利用し、リソース制約下で効率的なストリーミング理解を可能にする。 Hermesはすべてのベンチマークで優れた精度または同等の精度を実現しており、ストリーミングデータセットでは最大11.4%向上している。
  論文  参考訳（メタデータ） (2026-01-21T07:26:15Z)
• StreamingVLM: Real-Time Understanding for Infinite Video Streams [23.94087606884915]
  StreamingVLMは、無限視覚入力のリアルタイムで安定した理解のために設計されたモデルである。 私たちのアプローチは、トレーニングとストリーミング推論を整合させる統合フレームワークです。 Inf-Streams-Evalでは、StreamingVLMはGPT-4O miniに対して66.18%の勝利率を獲得し、1つのNVIDIA H100上で最大8FPSで安定したリアルタイムパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2025-10-10T17:59:58Z)
• QuickVideo: Real-Time Long Video Understanding with System Algorithm Co-Design [54.38970077613728]
  ビデオ監視、会議要約、教育講義分析、スポーツ放送といった現実の応用において、ロングビデオ理解が重要な機能として現れてきた。 我々は,リアルタイムダウンストリームアプリケーションをサポートするために,長時間ビデオ理解を大幅に高速化するシステムアルゴリズムの共同設計であるQuickVideoを提案する。
  論文  参考訳（メタデータ） (2025-05-22T03:26:50Z)
• VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers [23.541896057977745]
  VideoScanは、リアルタイムビデオインタラクションのための効率的な視覚言語モデル(VLM)推論フレームワークである。 VideoScanでは、各フレームを表すために単一のセマンティックキャリアトークンを使用している。
  論文  参考訳（メタデータ） (2025-03-12T13:30:40Z)
• Streaming Video Question-Answering with In-context Video KV-Cache Retrieval [10.990431921021585]
  我々は,効率的なストリーミングビデオ質問応答(StreamingVQA)を可能にするトレーニング不要な手法であるReKVを提案する。 提案手法は,長い動画をストリーミング形式で分析し,ユーザの問い合わせが受信されたら即座に応答することができる。
  論文  参考訳（メタデータ） (2025-03-01T15:53:33Z)
• Adaptive Caching for Faster Video Generation with Diffusion Transformers [52.73348147077075]
  拡散変換器(DiT)はより大きなモデルと重い注意機構に依存しており、推論速度が遅くなる。 本稿では,Adaptive Caching(AdaCache)と呼ばれる,ビデオDiTの高速化のためのトレーニング不要手法を提案する。 また,AdaCache内で動画情報を利用するMoReg方式を導入し,動作内容に基づいて計算割り当てを制御する。
  論文  参考訳（メタデータ） (2024-11-04T18:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。