論文の概要: PACE: Plan, Attend, Check, and Emit for Training-Free Response Timing in Streaming Video Understanding
- arxiv url: http://arxiv.org/abs/2610.28323v1
- Date: Tue, 20 Oct 2026 14:58:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.86407
- Title: PACE: Plan, Attend, Check, and Emit for Training-Free Response Timing in Streaming Video Understanding
- Title(参考訳): PACE: ストリーミングビデオ理解における学習自由応答タイミングのためのプラン,アテント,チェック,エミッション
- Abstract要約: 我々はチャンクワイズストリーミングエラーを3つのパターンに分類する: サンプリングのばらつきは、解答を不安定にし、安定した解答は、観察されたビデオのサポートを欠いているかもしれない、または、解答は、イベントが未完成のままである間に、現在の証拠によって支持されるかもしれない。
これら3つの障害モードを中心に設計されたトレーニングフリーフレームワークであるPACEを提案する。質問に対して、PACEは、何を観察し、何を完了させるかを示すプランを策定する。
ProactiveVideoQAとOVO-Bench Forwardの実験では、PACEはPAUCポイントの平均5.9、プロプライエタリおよびオープンソースのバックボーンの平均6.2まで、公式プロトコルよりも改善され、状態が得られている。
- 参考スコア(独自算出の注目度): 6.705662131675339
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Streaming video understanding requires a model to decide not only what to answer but also when to answer. Evidence arrives progressively, and recent benchmarks identify premature responses, issued before the queried event has concluded, as a recurring failure mode. Existing approaches often learn response timing through additional training, while training-free alternatives typically rely on scalar gating signals that do not explicitly represent when an answer becomes final. We organize chunk-wise streaming errors into three patterns: sampling variation can make an answer unstable, a stable answer may lack support in the observed video, or an answer may be supported by the current evidence while the event remains unfinished. We propose PACE (Plan, Attend, Check, and Emit), a training-free framework designed around these three failure modes. Given a question, PACE drafts a plan specifying what to observe and what will signal completion. As the stream unfolds, it invokes an off-the-shelf video LLM at informative moments, evaluates each draft for stability, grounding in its cited frames, and completion, and records verified observations in an event ledger. Experiments on ProactiveVideoQA and OVO-Bench Forward show that PACE improves over the official protocols by up to 5.9 average PAUC points and 6.2 average accuracy points across proprietary and open-source backbones, yielding state-of-the-art performance.
- Abstract(参考訳): ビデオの理解をストリーミングするには、何に答えるべきかだけでなく、いつ答えるべきかを決めるモデルが必要である。
証拠は徐々に届き、最近のベンチマークでは、クエリイベントが終了する前に発行された未熟な応答を、繰り返し発生する障害モードとして特定している。
既存のアプローチでは、追加のトレーニングを通じて応答タイミングを学習することが多いが、トレーニングなしの代替手段は通常、回答が最終版になったときに明示的に表現しないスカラーゲーティング信号に依存する。
我々はチャンクワイズストリーミングエラーを3つのパターンに分類する: サンプリングのばらつきは、解答を不安定にし、安定した解答は、観察されたビデオのサポートを欠いているかもしれない、または、解答は、イベントが未完成のままである間に、現在の証拠によって支持されるかもしれない。
PACE(Plan, Attend, Check, Emit)は,これらの3つの障害モードを中心に設計された,トレーニング不要のフレームワークである。
質問が与えられたら、PACEは、何を観察し、何に信号が完了するかを指定するプランをドラフトする。
ストリームが展開するにつれて、オフザシェルフビデオLLMを情報的瞬間に起動し、各ドラフトの安定性を評価し、引用フレームに接地し、完了し、イベント台帳で確認された観測を記録する。
ProactiveVideoQAとOVO-Bench Forwardの実験では、PACEはPAUCポイントの平均5.9、プロプライエタリおよびオープンソースのバックボーンの平均6.2まで改善され、最先端のパフォーマンスが得られる。
関連論文リスト
- ProV-Mem: Proactive Memory for Streaming Video Question Answering [25.91246022044429]
凍結したVLMバックボーンを中心に構築されたトレーニング不要なプロアクティブメモリフレームワークを提案する。
ProV-Memは、前向きな決定を3つの軽量メモリ層に分解する。
ProactiveVideoQAの4つのシナリオの実験では、ProV-Memはすべてのシナリオで最高のCAUCを達成し、WEB、EGO、TV上で最高のPAUCを実現している。
論文 参考訳(メタデータ) (2026-10-15T08:47:19Z) - When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。
WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。
我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
論文 参考訳(メタデータ) (2026-09-29T12:13:56Z) - FADE: From Passive Verification to Active Discovery in Counterfactual Video Understanding [19.559643217912114]
既存のMultiple-choice question (MCQ)ベンチマークは、質問や候補オプションを通じて、意図的にターゲットイベントをリークする。
本稿では, 対実的発見と説明のための効果的なトレーニングフレームワークであるFADEを紹介する。
FADEは、DualityVidQA-test と IPV-Bench の3つのタスクにまたがる、最先端の厳密なペアスコアを達成し、GPT-5.6を上回った。
論文 参考訳(メタデータ) (2026-08-11T10:22:08Z) - StreamPro: From Reactive Perception to Proactive Decision-Making in Streaming Video [53.82672457255517]
プロアクティブなストリーミングビデオ理解には、ビデオストリームを継続的に処理し、応答すべきタイミングを決定するモデルが必要である。
既存のベンチマークは、明確な証拠が現れた後にのみ応答がトリガーされる"シー・ザ・アンサー"パラダイムに大きく従っている。
StreamProは、パーセプション理解、テンポラル推論、プロアクティブエージェンシーの3つの相補的な視点からストリーミングモデルを評価する新しいベンチマークである。
論文 参考訳(メタデータ) (2026-05-11T05:01:15Z) - StreamReady: Learning What to Answer and When in Long Streaming Videos [28.99829321053373]
我々は、Answer Readiness Score (ARS) を用いたストリーミングビデオ理解の可読性を考慮した定式化を導入する。
ARSは、モデルが正しいかどうかではなく、適切なタイミングで答えられるかどうかを測定する効果的な精度を定義します。
この定式化に基づいて、リアルタイム応答と時間的推論を統一するフレームワークStreamReadyを導入します。
論文 参考訳(メタデータ) (2026-03-09T17:02:44Z) - Video-LLMs with Temporal Visual Screening [59.18455762289321]
テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。
TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。
実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
論文 参考訳(メタデータ) (2025-08-27T14:33:32Z) - Locate before Answering: Answer Guided Question Localization for Video
Question Answering [70.38700123685143]
LocAnsは質問ロケータと回答予測器をエンドツーエンドモデルに統合する。
最新の2つのビデオQAデータセットで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-10-05T08:19:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。