論文の概要: SyncPro: Synchronous Reasoning and Responding for Proactive Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2610.32132v1
• Date: Fri, 23 Oct 2026 03:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.341058
• Title: SyncPro: Synchronous Reasoning and Responding for Proactive Streaming Video Understanding
• Title（参考訳）: SyncPro: プロアクティブストリーミングビデオ理解のための同期推論と応答
• Abstract要約: アクティブなストリーミングビデオ理解には、ユーザの要求された条件が満たされたとき、アシスタントが展開イベントを追跡し、応答する必要がある。 既存の作業は、このプロセスに補完的な機能を提供します。 進行中の推論とタイムリーな応答の調整方法はまだ未検討である。 SyncProは,エビデンス追跡とユーザ対応応答のための特別な生成パスを備えた同期型デュアルストリームフレームワークである。
• 参考スコア（独自算出の注目度）: 38.68002393557043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proactive streaming video understanding requires assistants to track unfolding events and respond when a user's requested condition is met. To make these decisions, assistants must accumulate relevant evidence and reassess response conditions as new observations arrive. Existing work offers complementary capabilities for this process: proactive video assistants learn when to respond, while streaming video reasoning methods generate scheduled intermediate text to organize observations and support subsequent answers. Together, these capabilities provide a foundation for proactive reasoning, but how to coordinate ongoing reasoning with timely responses remains underexplored. In a direct adaptation, fixed reasoning intervals can trigger updates when nothing relevant has changed or postpone useful updates until the next scheduled step. Sharing one generation path also couples two distinct requirements: preserving evidence for future decisions and producing only the response requested by the user. Moreover, responses generated after reasoning must wait for it to finish, even when sufficient evidence is already available. To address these challenges, we introduce SyncPro, a synchronous dual-stream framework with specialized generation paths for evidence tracking and user-facing responses. Its Inner and Response branches share causal history and activate independently, allowing relevant evidence changes to trigger internal updates and responses to proceed concurrently with ongoing reasoning. We construct 189K dual-stream examples and train SyncPro through supervised fine-tuning followed by trajectory-level reinforcement learning. Experiments across three proactive benchmarks show improved response timing and more accurate answers to user requests.
• Abstract（参考訳）: アクティブなストリーミングビデオ理解には、ユーザの要求された条件が満たされたとき、アシスタントが展開イベントを追跡し、応答する必要がある。 これらの決定を下すには、アシスタントは関連する証拠を蓄積し、新しい観察が到着するにつれて応答条件を再評価する必要がある。 既存の作業は、このプロセスに補完的な機能を提供する: プロアクティブなビデオアシスタントは、いつ応答するかを学ぶ一方で、ストリーミングビデオ推論手法は、観察を整理し、その後の回答をサポートするために、スケジュールされた中間テキストを生成する。 これらの能力は積極的推論の基礎を提供するが、継続する推論とタイムリーな応答を協調する方法はまだ未定である。 直接的な適応では、固定推論間隔が変更されていない場合の更新をトリガーしたり、次の予定のステップまで有用な更新を延期することができる。 1世代パスを共有するには、将来の決定の証拠を保存し、ユーザから要求された応答のみを生成するという、2つの異なる要件がある。 さらに、推論後に生成された応答は、十分な証拠が既にある場合でも、それが終わるのを待たなければならない。 これらの課題に対処するため、私たちはSyncProを紹介した。これは、エビデンス追跡とユーザ対応応答のための特別な生成パスを備えた同期デュアルストリームフレームワークである。 内部と応答のブランチは因果履歴を共有して独立して起動し、関連するエビデンスの変更によって内部の更新と応答をトリガーし、進行中の推論と並行して進行する。 教師付き微調整と軌道レベルの強化学習により、189Kの二重ストリーム例を構築し,SyncProを訓練する。 3つの前向きなベンチマークの実験では、応答タイミングの改善と、ユーザの要求に対するより正確な回答が示されている。

関連論文リスト

• PACE: Plan, Attend, Check, and Emit for Training-Free Response Timing in Streaming Video Understanding [6.705662131675339]
  我々はチャンクワイズストリーミングエラーを3つのパターンに分類する: サンプリングのばらつきは、解答を不安定にし、安定した解答は、観察されたビデオのサポートを欠いているかもしれない、または、解答は、イベントが未完成のままである間に、現在の証拠によって支持されるかもしれない。 これら3つの障害モードを中心に設計されたトレーニングフリーフレームワークであるPACEを提案する。質問に対して、PACEは、何を観察し、何を完了させるかを示すプランを策定する。 ProactiveVideoQAとOVO-Bench Forwardの実験では、PACEはPAUCポイントの平均5.9、プロプライエタリおよびオープンソースのバックボーンの平均6.2まで、公式プロトコルよりも改善され、状態が得られている。
  論文  参考訳（メタデータ） (2026-10-20T14:58:18Z)
• ProactiveBench: Can Streaming Video Models Really Interact Like Humans? [14.13356441344051]
  ストリーミングビデオ理解には、時間的コンテキストを維持しながら連続的なマルチモーダル入力を処理するモデルが必要である。 本稿では,1秒間のストリーム間隔でモデルを評価するProactiveBenchを提案する。
  論文  参考訳（メタデータ） (2026-09-11T10:05:42Z)
• Temporal Evidence Routing with Structured Visual Evidence for TimeLogicQA [15.724849094439987]
  TimeLogicQAは、ビデオ質問応答システムが時間的関係について推論できるかどうかを評価する。 我々はこの課題を視覚的エビデンスルーティングパイプラインで解決し、認識を象徴的な時間的推論から分離する。
  論文  参考訳（メタデータ） (2026-05-31T08:49:04Z)
• StreamPro: From Reactive Perception to Proactive Decision-Making in Streaming Video [53.82672457255517]
  プロアクティブなストリーミングビデオ理解には、ビデオストリームを継続的に処理し、応答すべきタイミングを決定するモデルが必要である。 既存のベンチマークは、明確な証拠が現れた後にのみ応答がトリガーされる"シー・ザ・アンサー"パラダイムに大きく従っている。 StreamProは、パーセプション理解、テンポラル推論、プロアクティブエージェンシーの3つの相補的な視点からストリーミングモデルを評価する新しいベンチマークである。
  論文  参考訳（メタデータ） (2026-05-11T05:01:15Z)
• StreamReady: Learning What to Answer and When in Long Streaming Videos [28.99829321053373]
  我々は、Answer Readiness Score (ARS) を用いたストリーミングビデオ理解の可読性を考慮した定式化を導入する。 ARSは、モデルが正しいかどうかではなく、適切なタイミングで答えられるかどうかを測定する効果的な精度を定義します。 この定式化に基づいて、リアルタイム応答と時間的推論を統一するフレームワークStreamReadyを導入します。
  論文  参考訳（メタデータ） (2026-03-09T17:02:44Z)
• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Video-LLMs with Temporal Visual Screening [59.18455762289321]
  テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。 TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。 実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
  論文  参考訳（メタデータ） (2025-08-27T14:33:32Z)
• Weakly-Supervised Spatio-Temporal Anomaly Detection in Surveillance Video [128.41392860714635]
  Weakly-Supervised Snoma-Temporally Detection (WSSTAD) を監視ビデオに導入する。 WSSTADは異常事象を封止する時空間管(すなわち連続する境界ボックスのシーケンス)をローカライズすることを目的としている。 本稿では,空間的・時間的領域に複数粒度を持つ入力提案を行うデュアルブランチネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-09T06:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。