論文の概要: FastBench: Can Streaming VLMs Perceive High-Dynamic Real-World Streams?

• arxiv url: http://arxiv.org/abs/2610.12427v1
• Date: Thu, 08 Oct 2026 17:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.244054
• Title: FastBench: Can Streaming VLMs Perceive High-Dynamic Real-World Streams?
• Title（参考訳）: FastBench: VLMは高ダイナミックな実世界のストリームを認識できますか?
• Abstract要約: ストリーミングビデオ大言語モデル(VLM)は継続的なビデオ理解を可能にするが、既存のベンチマークでは低ダイナミックなシナリオに重点を置いている。 我々はFastBenchを導入し、実世界のビデオストリームにおける高ダイナミックな知覚を評価する。 FastBenchには、8つのドメインにまたがる306のQAペア、6つの機能、前方、即時、後方の時間的スコープがあり、人間にアノテートされたエビデンス間隔がある。
• 参考スコア（独自算出の注目度）: 41.617741112696415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming Video Large Language Models (VLMs) enable continuous video understanding, yet existing benchmarks focus on low-dynamic scenarios. Under bounded context budgets, models must balance temporal history, spatial resolution, and temporal granularity; sparse sampling at 1--2 FPS misses fast events. We introduce FastBench to evaluate high-dynamic perception in real-world video streams. Its trajectory-grounded pipeline combines QA generation from high-FPS clips, filtering of questions answerable at 2 FPS, answer verification using SAM3 and CoTracker3 trajectories, and three rounds of human inspection. FastBench contains 306 QA pairs across eight domains, six capabilities, and forward, instant, and backward temporal scopes, with human-annotated evidence intervals. We also present ProactiveFrame, a training-free baseline that adjusts incoming frame rates through text tokens. A dual-tier sliding window retains recent high-FPS observations while downsampling older ones into sparse history. Experiments reveal substantial limitations: the strongest model, Gemini-3.5-Flash, scores only 50.7%. Denser sampling improves Qwen3-VL-8B from 32.9% at 2 FPS to 44.6% at 24 FPS, but gains saturate as history is compressed. ProactiveFrame outperforms sparse uniform sampling by 5.4 and 1.5 percentage points, yet remains well below oracle-guided focusing, showing that current VLMs struggle to determine from the stream alone when finer temporal perception is needed. FastBench provides a testbed for high-dynamic streaming video understanding. Code and data: https://github.com/Ashone3/FastBench.
• Abstract（参考訳）: ストリーミングビデオ大言語モデル(VLM)は継続的なビデオ理解を可能にするが、既存のベンチマークでは低ダイナミックなシナリオに重点を置いている。 境界付きコンテキスト予算の下では、モデルは時間的履歴、空間分解能、時間的粒度をバランスさせなければならない。 我々はFastBenchを導入し、実世界のビデオストリームにおける高ダイナミックな知覚を評価する。 高FPSクリップからのQA生成,2FPSで回答可能な質問のフィルタリング,SAM3とCoTracker3トラジェクトリによる回答検証,3ラウンドの人間の検査を組み合わせている。 FastBenchには、8つのドメインにまたがる306のQAペア、6つの機能、前方、即時、後方の時間的スコープがあり、人間にアノテートされたエビデンス間隔がある。 また、テキストトークンでフレームレートを調整できるトレーニング不要のベースラインであるProactiveFrameも提示する。 二層スライディングウィンドウは、最近の高FPS観測を保ちながら、古いものをスパース・ヒストリーにダウンサンプリングする。 最も強力なモデルであるGemini-3.5-Flashのスコアはわずか50.7%である。 デンザーサンプリングはQwen3-VL-8Bを2 FPSで32.9%から24 FPSで44.6%に改善するが、歴史が圧縮されると飽和する。 ProactiveFrameはスパース均一サンプリングを5.4ポイントと1.5ポイントで上回っているが、オラクル誘導の焦点よりはるかに下回っているため、現在のVLMは時間的知覚がより細い場合に、ストリームのみから決定するのに苦労していることを示している。 FastBenchは、ハイダイナミックなストリーミングビデオ理解のためのテストベッドを提供する。 コードとデータ:https://github.com/Ashone3/FastBench.com

関連論文リスト

• SpaTime: Streaming Vision-Language Models for Spatio-temporal Reasoning [26.37931682143741]
  SpaTimeは、因果幾何学トークンを各フレームで言語モデルに融合するストリーミングVLMである。 本研究では,フレーム単位の応答確率を異なる予測時間にマッピングし,地上からの距離をペナルティ化する応答時間損失を提案する。
  論文  参考訳（メタデータ） (2026-10-06T17:22:33Z)
• LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence [107.63317552620231]
  LLaVA-OneVision-2(LLaVA-OV-2)について述べる。 幅広いマルチモーダルベンチマークで優れたパフォーマンスを実現している。 際立った能力は、ビデオ理解、時間的接地、空間的接地、操作言語推論にまたがる統一的な認識である。
  論文  参考訳（メタデータ） (2026-05-25T15:54:04Z)
• StreamingVLM: Real-Time Understanding for Infinite Video Streams [23.94087606884915]
  StreamingVLMは、無限視覚入力のリアルタイムで安定した理解のために設計されたモデルである。 私たちのアプローチは、トレーニングとストリーミング推論を整合させる統合フレームワークです。 Inf-Streams-Evalでは、StreamingVLMはGPT-4O miniに対して66.18%の勝利率を獲得し、1つのNVIDIA H100上で最大8FPSで安定したリアルタイムパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2025-10-10T17:59:58Z)
• OVO-Bench: How Far is Your Video-LLMs from Real-World Online Video Understanding? [51.45196331624591]
  OVO-Benchは、高度なオンラインビデオ理解機能のための新しいベンチマークである。 12のタスクで構成され、644のユニークなビデオと、正確なタイムスタンプを備えた約2,800の細かいメタアノテーションで構成されている。 Video-LLMの9つの評価によると、従来のベンチマークの進歩にもかかわらず、現在のモデルはオンラインビデオ理解に苦戦している。
  論文  参考訳（メタデータ） (2025-01-09T19:00:01Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。