論文の概要: StreamClarify: Proactive Clarification for Grounded Streaming Video Question Answering

• arxiv url: http://arxiv.org/abs/2611.01263v1
• Date: Sat, 31 Oct 2026 21:01:42 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:48:33.650048
• Title: StreamClarify: Proactive Clarification for Grounded Streaming Video Question Answering
• Title（参考訳）: StreamClarify: グラウンドドストリーミングビデオの質問回答の積極的な明確化
• Abstract要約: ストリーミングビデオ質問応答(QA)には、厳格なレイテンシとアクティブコンテキストの予算の下で、継続的なビデオストリームをリアルタイムに推論する必要がある。 本稿では,事前不確実性チェックと階層メモリを組み合わせた,グラウンドドストリーミングQAのためのトレーニングフリーフレームワークStreamClarifyを提案する。
• 参考スコア（独自算出の注目度）: 6.687883422464746
• License:
• Abstract: Streaming video question answering (QA) requires real-time reasoning over continuous video streams under strict latency and active-context budgets. Current streaming vision-language models (VLMs) often give confident yet ungrounded answers when queries are ambiguous or have false premises, or when relevant visual evidence is no longer in the active context. Proactive clarification can help, but must satisfy the same latency and memory constraints. We present StreamClarify, a training-free framework for grounded streaming QA that combines a pre-answer uncertainty check with hierarchical memory. The check uses the entropy of a binary pre-answer judgment as a lightweight uncertainty score to decide whether to answer directly or request clarification. To support re-answering, a temporal-pyramid KV cache maintains a bounded active visual context, while a CPU-side semantic retrieval archive provides access to historical frames. We further construct StreamClarify-QA, a diagnostic benchmark of 1,837 QA pairs from StreamBench and OVO-Bench, spanning standard, referential ambiguity, and unanswerable scenarios. Across three VLM backbones, StreamClarify improves Macro accuracy by up to 8.2 points over backbone-matched baselines. At comparable trigger rates, entropy-based selection achieves more than 18 points higher precision than random selection in identifying initially incorrect answers. Under oracle user guidance, clarification improves Macro accuracy by up to 3.5 points. We also report a controlled, oracle-assisted Qwen3-VL simulation on Ambiguous QA with generated questions and referent-only user replies, where the entropy-gated condition improves accuracy by 8.3 points.
• Abstract（参考訳）: ストリーミングビデオ質問応答(QA)には、厳格なレイテンシとアクティブコンテキストの予算の下で、継続的なビデオストリームをリアルタイムに推論する必要がある。 現在のストリーミングビジョン言語モデル(VLM)は、クエリがあいまいである場合や、偽の前提がある場合、あるいは関連する視覚的証拠がもはやアクティブな文脈にない場合、自信を持って答えることが多い。 積極的な明確化は役立つが、同じレイテンシとメモリの制約を満たす必要がある。 本稿では,事前不確実性チェックと階層メモリを組み合わせた,グラウンドドストリーミングQAのためのトレーニングフリーフレームワークStreamClarifyを提案する。 このチェックでは、二分探索前判定のエントロピーを軽量不確実性スコアとして使用し、直接回答するか、明確化を要求する。 再探索をサポートするために、時間ピラミドKVキャッシュは、CPU側のセマンティック検索アーカイブが履歴フレームへのアクセスを提供する間、境界付きアクティブな視覚コンテキストを維持する。 さらに、StreamBenchとOVO-Benchの1,837対のQAペアの診断ベンチマークであるStreamClarify-QAを構築し、標準、参照曖昧さ、解決不可能なシナリオにまたがる。 3つのVLMバックボーンにまたがって、StreamClarifyは、バックボーンマッチングベースライン上で最大8.2ポイントのマクロ精度を向上させる。 同等のトリガーレートで、エントロピーに基づく選択は、最初の誤った答えを特定する際に、ランダム選択よりも18ポイント高い精度を達成する。 オラクルのユーザーガイドの下では、Macroの精度を最大3.5ポイント向上させる。 また,制御されたオラクル支援Qwen3-VLシミュレーションをAmbiguous QA上で生成した質問と参照のみのユーザ応答を用いて報告し,エントロピーゲート条件により精度が8.3ポイント向上した。

関連論文リスト

• When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
  WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。 WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。 我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
  論文  参考訳（メタデータ） (2026-09-29T12:13:56Z)
• StreamScout: Learning When to Look Deeper for Streaming Video Understanding [19.514073898731603]
  ビデオの理解をストリーミングするには、無制限のビデオストリーム上で任意の瞬間にやってくる質問に答える必要がある。 StreamScoutは適応型推論フレームワークで、ストリームが展開するにつれて、コンテキスト内の軽量なテキストタイムラインのみを保持する。 3つのバックボーンと3つのストリーミングベンチマーク、StreamScoutとその変種は、従来よりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2026-08-31T19:35:25Z)
• Adaptive Dense Evidence Refinement for Video Relational Reasoning for VRR-QA Challenge [15.724849094439987]
  本稿では,適応型テスト時間計算を中心に構築された推論のみのシステムを提案する。 システムはまず、各質問に直接ビデオ言語モデルパスで答え、続いて複数の軽量ビューを使用して不安定な質問を見つける。 テストスプリットでは、最終システムは90.07平均精度と87.81マクロ平均精度を得る。
  論文  参考訳（メタデータ） (2026-05-31T08:45:06Z)
• TOC-Bench: A Temporal Object Consistency Benchmark for Video Large Language Models [9.648992690108086]
  ビデオ大言語モデル(ビデオ-LLM)は、一般的なビデオ理解において大きな進歩を遂げているが、時間的オブジェクトの一貫性を維持する能力はいまだ探索されていない。 ビデオLLMにおける時間的オブジェクトの一貫性を評価するための診断ベンチマークであるTOC-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-05-11T02:47:59Z)
• VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
  VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。 これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。 GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。 その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
  論文  参考訳（メタデータ） (2026-04-02T03:29:43Z)
• StreamReady: Learning What to Answer and When in Long Streaming Videos [28.99829321053373]
  我々は、Answer Readiness Score (ARS) を用いたストリーミングビデオ理解の可読性を考慮した定式化を導入する。 ARSは、モデルが正しいかどうかではなく、適切なタイミングで答えられるかどうかを測定する効果的な精度を定義します。 この定式化に基づいて、リアルタイム応答と時間的推論を統一するフレームワークStreamReadyを導入します。
  論文  参考訳（メタデータ） (2026-03-09T17:02:44Z)
• Locate before Answering: Answer Guided Question Localization for Video Question Answering [70.38700123685143]
  LocAnsは質問ロケータと回答予測器をエンドツーエンドモデルに統合する。 最新の2つのビデオQAデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-05T08:19:16Z)
• Frame-Subtitle Self-Supervision for Multi-Modal Video Question Answering [73.11017833431313]
  マルチモーダルなビデオ質問応答は、正しい回答を予測し、その質問に関連する時間的境界をローカライズすることを目的としている。 我々は、QAアノテーションのみを使用する、弱い教師付き質問基盤(WSQG)の設定を考案する。 フレームと字幕の対応をフレーム字幕(FS)に変換し,時間的注意スコアの最適化を支援する。
  論文  参考訳（メタデータ） (2022-09-08T07:20:51Z)
• NExT-QA:Next Phase of Question-Answering to Explaining Temporal Actions [80.60423934589515]
  NExT-QAは、厳密に設計されたビデオ質問回答(VideoQA)ベンチマークです。 因果的行動推論,時間的行動推論,共通場面理解を対象とする複数選択およびオープンエンドQAタスクを構築した。 トップパフォーマンスの手法は浅い場面記述に優れているが、因果的および時間的行動推論に弱い。
  論文  参考訳（メタデータ） (2021-05-18T04:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。