論文の概要: Watch-Think-Interact: Bootstrapping Long-Horizon Multi-Turn Streaming Video Reasoning with Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.37035v1
- Date: Tue, 29 Sep 2026 08:46:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.339888
- Title: Watch-Think-Interact: Bootstrapping Long-Horizon Multi-Turn Streaming Video Reasoning with Reinforcement Learning
- Title（参考訳）: Watch-Think-Interact:強化学習による長軸マルチTurnストリーミングビデオのブートストラップ
- Abstract要約: ストリーミングビデオアシストは、観測されたコンテキスト予算から非同期の質問に答えるモデルを必要とする。
マルチクエストストリーミングビデオ推論のためのクローズドループフレームワークであるWatch-Think-Interact (WTI)を紹介した。
応答タイミング, ソースビデオリコール, メモリ更新に対するトラジェクトリレベルのフィードバックを用いて, 完全マルチクエストストリーミングロールアウトを最適化するStream-GDPOを開発した。
- 参考スコア（独自算出の注目度）: 20.556879507103144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Streaming video assistance requires models to answer asynchronous questions from an observed prefix under a fixed context budget. Existing approaches model response timing or compress history, but an online state formed before future questions are known can omit visual details before later questions reveal their relevance; the retained state alone cannot recover them. We introduce Watch-Think-Interact (WTI), a closed-loop framework for multi-question streaming video reasoning. WTI maintains compact natural-language memory entries tagged with source-video time ranges; these entries support direct reasoning when sufficient and otherwise anchor selective recall of finer visual evidence. For each question, WTI answers when current context and memory suffice, continues watching when required evidence has not appeared, or recalls a relevant past interval and decides again after incorporating the returned chunks, without replaying the full observed history. To train this behavior, we construct WTI-82K, comprising 82,335 timed questions across 4,812 causally aligned trajectories, and develop Stream-GDPO to optimize complete multi-question streaming rollouts using trajectory-level feedback for response timing, source-video recall, and memory updates. WTI achieves state-of-the-art aggregate performance among the compared open-source streaming baselines, reaching 83.3% on StreamingBench and 73.6% weighted overall accuracy on OVO-Bench.
- Abstract（参考訳）: ストリーミングビデオアシストは、固定されたコンテキスト予算の下で観察されたプレフィックスから非同期の質問に答えるモデルを必要とする。
既存のアプローチは応答のタイミングや圧縮履歴をモデル化するが、将来の質問が知られる前に形成されたオンライン状態は、その後の質問がそれらの関連性を明らかにする前に視覚的詳細を省略することができる。
マルチクエストストリーミングビデオ推論のためのクローズドループフレームワークであるWatch-Think-Interact (WTI)を紹介した。
WTIは、ソースビデオタイムレンジにタグ付けされたコンパクトな自然言語メモリエントリを維持しており、これらのエントリは、必要であれば直接推論をサポートし、それ以外は、より細かい視覚的証拠を選択的にリコールする。
それぞれの質問に対して、WTIは現在の状況と記憶が十分であれば回答し、必要な証拠が出ていなければ引き続き監視し、関連する過去のインターバルをリコールし、返却されたチャンクをリプレイすることなく再度決定する。
この動作をトレーニングするために、WTI-82Kを構築し、4,812の因果関係のトラジェクトリに対して82,335のタイムド質問と、応答タイミング、ソースビデオリコール、メモリ更新のためのトラジェクトリレベルのフィードバックを用いて、完全なマルチクエストストリーミングロールアウトを最適化するStream-GDPOを開発した。
WTIは、比較したオープンソースのストリーミングベースラインの中で最先端の集約性能を達成し、StreamingBenchでは83.3%、OVO-Benchでは73.6%に達した。
関連論文リスト
- APM-Bench: Benchmarking Cross-session Persistent Memory for Egocentric Streaming Video Assistants [23.48188444793718]
現実のパーソナルアシスタントとして機能するためには、ストリーミングビデオモデルは、後から使うために過去の体験を保持する永続的なメモリを必要とする。
実世界のストリーミングインタラクションをマルチセッションライフトラジェクトリとして再構成するAPM-Benchを紹介する。
549のセッション、104のトラジェクトリー、2,719の候補者が参加し、客観的な質問とオープンな質問の両方をカバーしている。
論文 参考訳（メタデータ） (2026-09-29T13:32:06Z) - When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。
WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。
我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
論文 参考訳（メタデータ） (2026-09-29T12:13:56Z) - StreamScout: Learning When to Look Deeper for Streaming Video Understanding [19.514073898731603]
ビデオの理解をストリーミングするには、無制限のビデオストリーム上で任意の瞬間にやってくる質問に答える必要がある。
StreamScoutは適応型推論フレームワークで、ストリームが展開するにつれて、コンテキスト内の軽量なテキストタイムラインのみを保持する。
3つのバックボーンと3つのストリーミングベンチマーク、StreamScoutとその変種は、従来よりも一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2026-08-31T19:35:25Z) - StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。
最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。
バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
論文 参考訳（メタデータ） (2026-08-11T14:19:03Z) - StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding [42.88155526332792]
時間スケールでインタラクティブなストリーミングビデオ理解のためのベンチマークであるStreamArenaを紹介する。
多様なシステムに対する評価は、連続的な相互作用と長距離多モード理解の間の緊張を露呈する。
レイテンシクリティカルなインタラクションとアクティブな監視を,独立したスケジュール作業者に割り当てる2層アーキテクチャであるStreamMindとの緊張に対処する。
論文 参考訳（メタデータ） (2026-08-06T07:46:37Z) - GROVE: Growing and Reasoning over Temporally Stratified Memory from Streaming Video Experience [67.55136435794206]
ウェアラブルアシスタントは、その視覚的履歴に関する質問に答え、その歴史が現在の状況に有効であるかどうかを認識する。
GROVEは、連続的なビデオストリームから慎重に成長した1つのメモリで両方の動作をサポートする、トレーニング不要のフレームワークである。
GROVEは、きめ細かい知覚的証拠を保持し、それをタイムスタンプ化された瞬間、一貫性のあるエピソード、そして日々のパターンに漸進的に統合する。
論文 参考訳（メタデータ） (2026-08-03T15:35:28Z) - FOLIO: Focused Semantic Memory for Streaming Video Understanding [7.067883491096352]
オンラインのストリーミングビデオ理解では、ビデオストリームが到着し続け、いつでもクエリが発行される可能性がある。
この履歴がストリームとともに増加するにつれて、メモリコストが増加し、多くの冗長な視覚的詳細が保持される。
トレーニング不要なセマンティックメモリシステムであるFOLIOを導入し、ストリームの重要な部分をより詳細に記録する。
論文 参考訳（メタデータ） (2026-07-14T22:09:48Z) - Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously [69.0264594684213]
Video Streaming Thinking (VST) はビデオ理解のための新しいパラダイムである。
ストリーミング中のビデオクリップの推論を起動するメカニズムを視聴しながら思考をサポートする。
VSTはリアルタイム応答性を維持しながら、タイムリーな理解とコヒーレント認知を改善する。
論文 参考訳（メタデータ） (2026-03-12T17:59:51Z) - WAT: Online Video Understanding Needs Watching Before Thinking [25.136741695647213]
WAT(Watching Before Thinking)は、オンラインビデオ推論のための2段階のフレームワークである。
処理をクエリ非依存の監視ステージとクエリトリガーの思考ステージに分離する。
オンラインビデオベンチマークでは、StreamingBenchでは77.7%、OVO-Benchでは55.2%の精度で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-03-12T13:42:32Z) - Video-LLMs with Temporal Visual Screening [59.18455762289321]
テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。
TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。
実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
論文 参考訳（メタデータ） (2025-08-27T14:33:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。