論文の概要: SPARE: Shared Perception and Adaptive Retrieval of Evidence for Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2610.14671v2
• Date: Fri, 16 Oct 2026 07:15:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.497945
• Title: SPARE: Shared Perception and Adaptive Retrieval of Evidence for Streaming Video Understanding
• Title（参考訳）: SPARE:ストリーミングビデオ理解のための共有認識と適応的エビデンス検索
• Abstract要約: ビデオの理解をストリーミングするには、観察されたビデオからの質問に答える必要がある。 適応的履歴検索と視覚的エンコーダ共有を組み合わせたフレームワークであるSPAREを提案する。 視覚のみの入力で、SPAREはOVO-Benchのリアルタイムおよびバックワードタスクグループで77.78%、StreamingBenchで73.31%を達成する。
• 参考スコア（独自算出の注目度）: 45.305417318526054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming video understanding requires answering questions from the observed video, with evidence drawn from recent observations or earlier events. Historical context can improve recall but may interfere with judgments based on recent frames. Its usefulness depends on both when it is introduced and which clips are selected, while relevance alone does not guarantee sufficient evidence for an answer. We propose SPARE, a framework that combines adaptive historical retrieval with visual encoder sharing. A lightweight gate predicts whether recent observations provide sufficient evidence to answer the question. When additional evidence is predicted to be necessary, a multimodal embedding model retrieves relevant historical clips to supplement the current context. LoRA instruction tuning trains the understanding model to use recent observations and retrieved history jointly and abstain when the evidence remains insufficient. To reduce redundant visual parameters, the understanding and retrieval branches share a visual encoder while retaining separate language backbones. Four linear adapters align the shared features with the retrieval model through distillation at the visual token and final retrieval embedding levels. With visual-only inputs, SPARE achieves 77.78% on the evaluated Real-time and Backward task groups of OVO-Bench and 73.31% on StreamingBench. Compared with Qwen3-VL-8B-Instruct evaluated at 2 fps, SPARE improves accuracy by 20.68 percentage points on OVO-Bench and 14.15 percentage points on StreamingBench.
• Abstract（参考訳）: ビデオ理解をストリーミングするには、観察されたビデオからの質問に答える必要がある。 歴史的文脈はリコールを改善することができるが、最近の枠組みに基づく判断に干渉する可能性がある。 その有用性は、いつ導入され、どのクリップが選択されるかによって異なり、関連性だけでは、答えの十分な証拠は保証されない。 適応的履歴検索と視覚的エンコーダ共有を組み合わせたフレームワークであるSPAREを提案する。 軽量ゲートは、最近の観測が質問に答える十分な証拠を提供するかどうかを予測する。 追加のエビデンスが必要であると予測された場合、マルチモーダル埋め込みモデルは関連する履歴クリップを取得し、現在のコンテキストを補完する。 LoRA命令チューニングは理解モデルをトレーニングし、最近の観測を使い、証拠が不十分な場合に履歴を共同で取得する。 冗長な視覚パラメータを低減するために、理解と検索のブランチは、別々の言語バックボーンを保持しながら、ビジュアルエンコーダを共有する。 4つの線形アダプタは, ビジュアルトークンの蒸留と最終検索の埋め込みによって, 共有特徴と検索モデルとを一致させる。 視覚のみの入力で、SPAREはOVO-Benchのリアルタイムおよびバックワードタスクグループで77.78%、StreamingBenchで73.31%を達成する。 2fpsで評価されたQwen3-VL-8Bインストラクタと比較して、SPAREはOVO-Benchで20.68ポイント、StreamingBenchで14.15ポイント精度を向上させる。

関連論文リスト

• Enhancing Long-Video VLM Embeddings with Query-Aware Streaming Latent Reasoning [48.92009312610144]
  長いビデオの埋め込みには、限られた視覚的な予算の下で、スパースクエリ関連エビデンスをキャプチャする必要がある。 textbfQuery-Aware Streaming Latent Reasoning (QASLR)を紹介する。 QASLRはフレームの有界集合を選択し、時間順を復元し、ヴィジュアル言語によるバックボーンでクリップで処理する。
  論文  参考訳（メタデータ） (2026-10-04T02:05:48Z)
• OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction [32.04438199470426]
  クエリ非依存のエビデンス記録とタスク応答を共同で学習するOneStreamerを紹介します。 タイムグラウンドのローカル・ディテールのキャプションや完成イベントの要約を制作する。 これにより、すべての出力アンカーにおける監視を保ちながら、繰り返し待ち状態の優位性を低下させる。
  論文  参考訳（メタデータ） (2026-10-01T14:23:03Z)
• When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
  WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。 WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。 我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
  論文  参考訳（メタデータ） (2026-09-29T12:13:56Z)
• Watch-Think-Interact: Bootstrapping Long-Horizon Multi-Turn Streaming Video Reasoning with Reinforcement Learning [20.556879507103144]
  ストリーミングビデオアシストは、観測されたコンテキスト予算から非同期の質問に答えるモデルを必要とする。 マルチクエストストリーミングビデオ推論のためのクローズドループフレームワークであるWatch-Think-Interact (WTI)を紹介した。 応答タイミング, ソースビデオリコール, メモリ更新に対するトラジェクトリレベルのフィードバックを用いて, 完全マルチクエストストリーミングロールアウトを最適化するStream-GDPOを開発した。
  論文  参考訳（メタデータ） (2026-09-29T08:46:25Z)
• Intrinsic Temporal Adaptation of CLIP for Partially Relevant Video Retrieval [40.983482307220676]
  PRVRは、テキストクエリに関連するモーメントを含む未編集のビデオを検索することを目的としている。 Intrinsic Temporal Adaptation (ITA) framework for PRVRを提案する。 提案手法は,PRVRベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-09-04T06:58:59Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
  既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。 QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。 クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
  論文  参考訳（メタデータ） (2025-03-11T17:59:57Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。