論文の概要: StreamScout: Learning When to Look Deeper for Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2609.00291v1
• Date: Mon, 31 Aug 2026 19:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.025504
• Title: StreamScout: Learning When to Look Deeper for Streaming Video Understanding
• Title（参考訳）: StreamScout: 動画理解の深層化を学習する
• Abstract要約: ビデオの理解をストリーミングするには、無制限のビデオストリーム上で任意の瞬間にやってくる質問に答える必要がある。 StreamScoutは適応型推論フレームワークで、ストリームが展開するにつれて、コンテキスト内の軽量なテキストタイムラインのみを保持する。 3つのバックボーンと3つのストリーミングベンチマーク、StreamScoutとその変種は、従来よりも一貫してパフォーマンスが向上している。
• 参考スコア（独自算出の注目度）: 19.514073898731603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming video understanding requires answering questions that arrive at arbitrary moments over an unbounded video stream. Existing systems primarily focus on what to retain in a bounded memory, yet access that memory using the same fixed-cost procedure for every query, despite substantial variation in the evidence required. We argue that deciding how deeply to access memory for each query is as important as deciding what the memory should store. To this end, we introduce StreamScout, an adaptive inference framework that maintains only a lightweight textual timeline in context as the stream unfolds. At query time, StreamScout progressively augments the timeline with up to three increasingly informative visual views: a glance at recent frames, a uniform look-back over the past stream, and query-salient retrieval. At each stage, the model answers immediately if the available evidence is sufficient; otherwise, it escalates to the next view. To improve this stop-or-escalate policy, we probe the cascade on an auxiliary set and distill the model's empirical competence boundary into supervision for a lightweight LoRA adaptation, yielding StreamScout-S. We further refine the policy through reinforcement learning, allowing the model to explore stopping behaviors beyond imitation of the distilled decisions, yielding StreamScout-R. Across three backbones and three streaming benchmarks, StreamScout and its variants consistently outperform prior streaming methods while substantially reducing inference cost and token consumption; on OVO-Bench, for instance, StreamScout-S improves Qwen3-VL-8B by 14.65 points while using 59% fewer tokens than uniform sampling and answering in 1.04 s on average.
• Abstract（参考訳）: ビデオの理解をストリーミングするには、無制限のビデオストリーム上で任意の瞬間にやってくる質問に答える必要がある。 既存のシステムは、主に境界メモリに保持すべきものに焦点を当てるが、必要な証拠のかなりのばらつきにもかかわらず、全てのクエリに対して同じ固定コストプロシージャを使用してメモリにアクセスする。 各クエリに対するメモリアクセスの深さを決定することは、メモリが格納すべきものを決定するのと同じくらい重要である、と私たちは主張する。 この目的のために、ストリームが展開するにつれて、コンテキスト内の軽量なテキストタイムラインのみを保持する適応型推論フレームワークであるStreamScoutを紹介します。 クエリ時にStreamScoutは、タイムラインを最大で3つの意味のあるビジュアルビューで徐々に強化する。 それぞれの段階で、利用可能な証拠が十分であれば、モデルはすぐに答える。 この停止・エスカレートポリシーを改善するため、補助セット上でカスケードを探索し、モデルの経験的能力境界を蒸留し、軽量なLoRA適応の監督を行い、StreamScout-Sを得る。 我々は、強化学習を通じて政策をさらに洗練し、蒸留された決定の模倣を超えた行動停止をモデルが探索し、StreamScout-Rが得られるようにした。 例えばOVO-Benchでは、StreamScout-SはQwen3-VL-8Bを14.65ポイント改善し、均一サンプリングや1.04秒での応答よりも59%少ないトークンを使用する。

関連論文リスト

• Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
  latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T17:28:14Z)
• StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding [42.88155526332792]
  時間スケールでインタラクティブなストリーミングビデオ理解のためのベンチマークであるStreamArenaを紹介する。 多様なシステムに対する評価は、連続的な相互作用と長距離多モード理解の間の緊張を露呈する。 レイテンシクリティカルなインタラクションとアクティブな監視を,独立したスケジュール作業者に割り当てる2層アーキテクチャであるStreamMindとの緊張に対処する。
  論文  参考訳（メタデータ） (2026-08-06T07:46:37Z)
• LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams [59.485485426790966]
  このLiveStarProは、長時間のストリーミング上でのプロアクティブなビデオ理解のために設計されたライブストリーミングアシスタントである。 LiveStarProは既存のメソッドを一貫して上回り、セマンティックな正確性は28.9%向上した。 そのストリーミングキーバリューキャッシュは、キャッシュなしで同じモデル上で1.58倍の推論速度を得る。
  論文  参考訳（メタデータ） (2026-06-16T11:18:05Z)
• What Should a Streaming Video Model Remember? [28.189301152079214]
  ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。 提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。 実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
  論文  参考訳（メタデータ） (2026-06-15T07:50:19Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Progressive Online Video Understanding with Evidence-Aligned Timing and Transparent Decisions [75.23170605943457]
  textbfmodelは、メモリ統合から推論制御を分離するフレームワークである。 emphActive Thinking Decision Maker (ATDM)は、決定プロセスの外部化を行う透明な推論コントローラである。 emphHierarchical Progressive Semantic Integration (HPSI)モジュールは効率的なメモリシステムとして機能する。
  論文  参考訳（メタデータ） (2026-04-20T16:15:33Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding [92.59317281526239]
  HERMESは、ビデオストリームのリアルタイムかつ正確な理解のためのトレーニング不要アーキテクチャである。 HermesはコンパクトなKVキャッシュを再利用し、リソース制約下で効率的なストリーミング理解を可能にする。 Hermesはすべてのベンチマークで優れた精度または同等の精度を実現しており、ストリーミングデータセットでは最大11.4%向上している。
  論文  参考訳（メタデータ） (2026-01-21T07:26:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。