論文の概要: WAT: Online Video Understanding Needs Watching Before Thinking

• arxiv url: http://arxiv.org/abs/2603.13412v1
• Date: Thu, 12 Mar 2026 13:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.177125
• Title: WAT: Online Video Understanding Needs Watching Before Thinking
• Title（参考訳）: WAT: オンラインビデオ理解は考える前に見る必要がある
• Authors: Zifan Han, Hongbo Sun, Jinglin Xu, Canhui Tang, Yulong Lei, Xuchong Zhang, Hongbin Sun, Zhongjiang He, Hao Sun,
• Abstract要約: WAT(Watching Before Thinking)は、オンラインビデオ推論のための2段階のフレームワークである。 処理をクエリ非依存の監視ステージとクエリトリガーの思考ステージに分離する。 オンラインビデオベンチマークでは、StreamingBenchでは77.7%、OVO-Benchでは55.2%の精度で最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 25.136741695647213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have shown strong capabilities in image understanding, motivating recent efforts to extend them to video reasoning. However, existing Video LLMs struggle in online streaming scenarios, where long temporal context must be preserved under strict memory constraints. We propose WAT (Watching Before Thinking), a two-stage framework for online video reasoning. WAT separates processing into a query-independent watching stage and a query-triggered thinking stage. The watching stage builds a hierarchical memory system with a Short-Term Memory (STM) that buffers recent frames and a fixed-capacity Long-Term Memory (LTM) that maintains a diverse summary of historical content using a redundancy-aware eviction policy. In the thinking stage, a context-aware retrieval mechanism combines the query with the current STM context to retrieve relevant historical frames from the LTM for cross-temporal reasoning. To support training for online video tasks, we introduce WAT-85K, a dataset containing streaming-style annotations emphasizing real-time perception, backward tracing, and forecasting. Experiments show that WAT achieves state-of-the-art performance on online video benchmarks, including 77.7% accuracy on StreamingBench and 55.2% on OVO-Bench, outperforming existing open-source online Video LLMs while operating at real-time frame rates.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、画像理解において強力な能力を示し、映像推論に拡張する最近の取り組みを動機付けている。 しかし、既存のビデオLLMは、時間的コンテキストを厳格なメモリ制約の下で保存しなければならないオンラインストリーミングのシナリオで苦労している。 オンラインビデオ推論のための2段階のフレームワークであるWAT(Watching Before Thinking)を提案する。 WATは、処理をクエリ非依存の監視ステージとクエリトリガーの思考ステージに分離する。 監視段階は、最近のフレームをバッファリングする短期記憶(STM)と、冗長を意識した消去ポリシーを使用して歴史的コンテンツの多様なサマリを維持する固定容量長期記憶(LTM)を備えた階層記憶システムを構築する。 思考段階において、文脈認識検索機構は、クエリを現在のSTMコンテキストと組み合わせて、時系列的推論のためにLTMから関連する履歴フレームを検索する。 オンラインビデオタスクのトレーニングを支援するために,リアルタイム認識,後方追跡,予測を重視したストリーミングスタイルアノテーションを含むデータセットであるWAT-85Kを紹介した。 実験の結果、WATはストリーミングベンチで77.7%、OVO-Benchで55.2%の精度で、リアルタイムのフレームレートで運用しながら、既存のオープンソースのオンラインビデオLLMを上回っている。

関連論文リスト

• Thinking in Streaming Video [30.61790766076081]
  ThinkStreamは、Watch-Think-Speakパラダイムに基づいた、ビデオ推論をストリーミングするためのフレームワークである。 Reasoning-Compressed Streaming Memory (RCSM) は、中間的推論トレースをコンパクトなセマンティックメモリとして扱う。 複数のストリーミングビデオベンチマークの実験では、ThinkStreamが既存のオンラインビデオモデルを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-03-13T12:33:36Z)
• video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory [51.03819128505358]
  Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。 テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。 プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
  論文  参考訳（メタデータ） (2025-10-13T08:20:15Z)
• StreamForest: Efficient Online Video Understanding with Persistent Event Memory [37.73273040737155]
  StreamForestは、ビデオの理解をストリーミングするために設計されている。 微粒な時空間ウィンドウは、現在のシーン知覚を改善するために、詳細な短期的な視覚的手がかりをキャプチャする。 OnlineITはリアルタイム認識と将来の予測の両方においてMLLMのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-09-29T14:53:57Z)
• Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
  大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。 人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。 Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
  論文  参考訳（メタデータ） (2025-08-13T04:33:07Z)
• HierarQ: Task-Aware Hierarchical Q-Former for Enhanced Video Understanding [14.464718780172582]
  タスク対応の階層型Q-FormerベースのフレームワークであるHierarQを導入する。 ビデオ理解にタスク認識を組み込むために,軽量な2ストリーム言語誘導機能変調器を導入する。 ビデオ理解、質問応答、キャプションタスクにわたる10の動画ベンチマークの大規模な評価は、HierarQの最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-11T16:21:23Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• SVBench: A Benchmark with Temporal Multi-Turn Dialogues for Streaming Video Understanding [56.78088668917983]
  SVBenchは時間的マルチターン質問応答チェーンを用いた先駆的ベンチマークである。 半自動アノテーションパイプラインを設計し、49,979対のQA(QA)と1,353本のストリーミングビデオを取得する。 対話とストリーミング評価の14モデルから得られた実験結果から, クローズドソースのGPT-4oは他より優れているが, 大部分のオープンソースLVLMは, 長文のストリーミングビデオ理解に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2025-02-15T14:29:44Z)
• Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
  人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。 既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。 本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
  論文  参考訳（メタデータ） (2024-06-12T11:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。