Fugu-MT 論文翻訳(概要): A Simple Baseline for Streaming Video Understanding

論文の概要: A Simple Baseline for Streaming Video Understanding

arxiv url: http://arxiv.org/abs/2604.02317v1
Date: Thu, 02 Apr 2026 17:58:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-03 14:21:10.984476
Title: A Simple Baseline for Streaming Video Understanding
Title（参考訳）: ストリーミングビデオ理解のための簡易ベースライン
Abstract要約: 直近のNフレームのみをオフザシェルフVLMに供給するスライディングウィンドウベースラインを形式化する。 OVO-BenchとStreamingBenchをベースとした13のオフラインおよびオンラインビデオLLMベースラインに対して評価を行った。
参考スコア（独自算出の注目度）: 44.77185258429313
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent streaming video understanding methods increasingly rely on complex memory mechanisms to handle long video streams. We challenge this trend with a simple finding: a sliding-window baseline that feeds only the most recent N frames to an off-the-shelf VLM already matches or surpasses published streaming models. We formalize this baseline as SimpleStream and evaluate it against 13 major offline and online video LLM baselines on OVO-Bench and StreamingBench. Despite its simplicity, SimpleStream delivers consistently strong performance. With only 4 recent frames, it reaches 67.7% average accuracy on OVO-Bench and 80.59% on StreamingBench. Controlled ablations further show that the value of longer context is backbone-dependent rather than uniformly increasing with model scale, and reveal a consistent perception-memory trade-off: adding more historical context can improve recall, but often weakens real-time perception. This suggests that stronger memory, retrieval, or compression modules should not be taken as evidence of progress unless they clearly outperform SimpleStream under the same protocol. We therefore argue that future streaming benchmarks should separate recent-scene perception from long-range memory, so that performance improvements from added complexity can be evaluated more clearly.
Abstract（参考訳）: 最近のストリーミングビデオ理解手法は、長いビデオストリームを扱うための複雑なメモリ機構にますます依存している。最新のNフレームのみを、市販のVLMに供給するスライディングウィンドウベースラインは、すでに公開されているストリーミングモデルに適合または超えている。我々は、このベースラインをSimpleStreamとして形式化し、OVO-BenchおよびStreamingBench上の13のオフラインおよびオンラインビデオLLMベースラインに対して評価する。シンプルさにもかかわらず、SimpleStreamは一貫して強力なパフォーマンスを提供する。最近のフレームは4つしかなく、OVO-Benchでは67.7%、StreamingBenchでは80.59%に達する。制御された改善により、より長いコンテキストの値はモデルスケールで均一に増加するのではなく、バックボーン依存であることが示され、一貫した認識-メモリのトレードオフが明らかになる。これは、より強力なメモリ、検索、圧縮モジュールが、同じプロトコルでSimpleStreamを明らかに上回らない限り、進歩の証拠として捉えるべきでないことを示唆している。したがって,今後のストリーミングベンチマークでは,近年の認識を長距離メモリから切り離して,複雑化によるパフォーマンス向上をより明確に評価するべきだ,と論じる。

関連論文リスト

StreamTTT: Reconciling Real-Time Perception and Long-Term Memory in Streaming VLMs [53.38747124102543]
StreamTTTは、アテンションコンテキストの外の、オンライン更新された高速ウェイトに長距離履歴を書き込む。オフラインの長ビデオQAと、新たに構築されたリアルタイムQAコーパスで、StreamTTTを共同でトレーニングする。同じスケールのSimpleStream-4Bを、リアルタイムの知覚では1.4ポイント、後方トレースでは3.7ポイントで上回っている。
論文参考訳（メタデータ） (2026-08-13T16:10:33Z)
StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
論文参考訳（メタデータ） (2026-08-11T14:19:03Z)
ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding [50.17161313335395]
ObjectStreamはトレーニング不要のフレームワークで、ストリーミングビデオ理解のためのメモリアンカーとして潜在オブジェクトを扱う。それは3つの補完的な証拠を保存している: 永続的なオブジェクト履歴、過渡的なオブジェクト変更、そして最近の視覚的コンテキストである。オンラインストリーミングとオフラインの長時間ビデオベンチマークの実験は、有効性と効率の両方を示している。
論文参考訳（メタデータ） (2026-07-30T14:47:00Z)
What Should a Streaming Video Model Remember? [28.189301152079214]
ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
論文参考訳（メタデータ） (2026-06-15T07:50:19Z)
Thinking in Streaming Video [30.61790766076081]
ThinkStreamは、Watch-Think-Speakパラダイムに基づいた、ビデオ推論をストリーミングするためのフレームワークである。 Reasoning-Compressed Streaming Memory (RCSM) は、中間的推論トレースをコンパクトなセマンティックメモリとして扱う。複数のストリーミングビデオベンチマークの実験では、ThinkStreamが既存のオンラインビデオモデルを大幅に上回っていることが示されている。
論文参考訳（メタデータ） (2026-03-13T12:33:36Z)
Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously [69.0264594684213]
Video Streaming Thinking (VST) はビデオ理解のための新しいパラダイムである。ストリーミング中のビデオクリップの推論を起動するメカニズムを視聴しながら思考をサポートする。 VSTはリアルタイム応答性を維持しながら、タイムリーな理解とコヒーレント認知を改善する。
論文参考訳（メタデータ） (2026-03-12T17:59:51Z)
Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
論文参考訳（メタデータ） (2026-02-20T18:59:50Z)
Event-VStream: Event-Driven Real-Time Understanding for Long Video Streams [11.495597616926274]
Event-VStreamは、連続した動画を、個別にセマンティックに一貫性のあるイベントのシーケンスとして表現する。システムは、動き、意味、予測的手がかりを統合することで意味のある状態遷移を検出する。システムは2時間のEgo4Dストリームで約70%のGPT-5の勝利率を維持している。
論文参考訳（メタデータ） (2026-01-22T05:05:53Z)
StreamForest: Efficient Online Video Understanding with Persistent Event Memory [37.73273040737155]
StreamForestは、ビデオの理解をストリーミングするために設計されている。微粒な時空間ウィンドウは、現在のシーン知覚を改善するために、詳細な短期的な視覚的手がかりをキャプチャする。 OnlineITはリアルタイム認識と将来の予測の両方においてMLLMのパフォーマンスを大幅に向上させる。
論文参考訳（メタデータ） (2025-09-29T14:53:57Z)
OVO-Bench: How Far is Your Video-LLMs from Real-World Online Video Understanding? [51.45196331624591]
OVO-Benchは、高度なオンラインビデオ理解機能のための新しいベンチマークである。 12のタスクで構成され、644のユニークなビデオと、正確なタイムスタンプを備えた約2,800の細かいメタアノテーションで構成されている。 Video-LLMの9つの評価によると、従来のベンチマークの進歩にもかかわらず、現在のモデルはオンラインビデオ理解に苦戦している。
論文参考訳（メタデータ） (2025-01-09T19:00:01Z)
Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
論文参考訳（メタデータ） (2024-06-12T11:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。