論文の概要: AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2610.38678v1
• Date: Wed, 28 Oct 2026 18:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 09:11:00.811595
• Title: AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
• Title（参考訳）: AskStream: ビデオ理解のストリーミングにおける不確実性の下で、いつ、何を積極的に問うべきか
• Abstract要約: 積極的相互作用は第三のアクションで再定義されるべきである、と我々は主張する。 我々はAskStreamを紹介した。AskStreamは、ストリーミングビデオ理解のための、ビデオとユーザの不確実性にまたがる最初のマルチターンベンチマークである。 最も強いモデルでさえ、提案したAsk-F1測定値で52.18%しか得られていない。
• 参考スコア（独自算出の注目度）: 34.215812843438876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in multimodal large language models have increased interest in interaction paradigms for video understanding. The evolution from offline to streaming and proactive interaction has gradually shifted models from passive responders toward more proactive agents that can decide when to answer. However, existing proactive paradigms typically assume that the information required to answer a query is complete, leaving models to only wait or answer. In the real world, however, information is often incomplete due to uncertainty from either the video or the user. In proactive paradigms, such uncertainty can cause the model to wait forever or generate highly hallucinatory responses. We therefore argue that proactive interaction should be redefined with a third action: ask, allowing models to actively ask for missing information. To study when and what models should ask before answering, we introduce AskStream, the first multi-turn benchmark spanning video and user uncertainty for streaming video understanding, with four task categories and eight subtasks. It contains 438 videos with 2,714 manually annotated frame-level time windows across three types: wait, ask, and answer. Across both multiple-choice and open-ended settings, even the strongest model attains only 52.18% on our proposed Ask-F1 metric, highlighting substantial limitations in proactive information seeking under uncertainty.
• Abstract（参考訳）: マルチモーダルな大言語モデルの最近の進歩は、ビデオ理解のための相互作用パラダイムへの関心が高まっている。 オフラインからストリーミング、そしてプロアクティブな相互作用への進化は、モデルを受動的応答器からよりプロアクティブなエージェントへと徐々にシフトし、いつ答えるかを決定できる。 しかしながら、既存のプロアクティブパラダイムは通常、クエリに応答するために必要な情報が完了したと仮定し、モデルを待つか答えるのみとなる。 しかし、現実の世界では、ビデオでもユーザーでも不確実性があるため、情報はしばしば不完全である。 積極的パラダイムでは、そのような不確実性は、モデルを永遠に待つか、あるいは高い幻覚応答を発生させる可能性がある。 したがって、積極的相互作用は第3のアクションで再定義されるべきである、と我々は主張する。 AskStreamは、4つのタスクカテゴリと8つのサブタスクを持つ、ストリーミングビデオ理解のための、ビデオとユーザの不確実性にまたがる最初のマルチターンベンチマークである。 ビデオは438本あり、2,714本が手動でアノテートされたフレームレベルのタイムウィンドウが3種類ある。 複数選択とオープンエンドの両方で、最強のモデルでさえ、提案したAsk-F1測定値で52.18%しか得られず、不確実性の下でのプロアクティブな情報のかなりの制限を強調している。

関連論文リスト

• StreamVibe: Proactive Video Agents for Evolving User Intent [69.09509122765975]
  視覚言語モデルは、オフラインの受動的理解からオンラインのプロアクティブなインタラクションへとシフトしている。 連続的な観察から暗黙のユーザ意図を推測するストリーミングプロアクティブモデルであるStreamVibe-VLを開発した。 StreamVibe-Harnessも導入しています。これは、階層メモリを通じてフレキシブルなライフサイクルを持つ永続状態としてユーザ意図を維持します。
  論文  参考訳（メタデータ） (2026-10-26T00:48:27Z)
• ProactiveBench: Can Streaming Video Models Really Interact Like Humans? [14.13356441344051]
  ストリーミングビデオ理解には、時間的コンテキストを維持しながら連続的なマルチモーダル入力を処理するモデルが必要である。 本稿では,1秒間のストリーム間隔でモデルを評価するProactiveBenchを提案する。
  論文  参考訳（メタデータ） (2026-09-11T10:05:42Z)
• OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding [17.161087166882744]
  オムニプロ(OmniPro)は、オムニモーダル知覚、プロアクティブ応答、多様なビデオ理解タスクを共同で評価する最初のベンチマークである。 9つのサブタスクと3つの認知レベルにまたがる2,700人の人間認証サンプルで構成されており、6つの基本的なビデオ理解機能を含んでいる。 特に、サンプルの84%は音声信号(音声または非音声)を必要とし、各サンプルは、微細なマルチモーダル解析を可能にするために、モダリティ・アイソレーションラベルで注釈付けされている。
  論文  参考訳（メタデータ） (2026-05-18T15:55:22Z)
• Video-BrowseComp: Benchmarking Agentic Video Research on Open Web [64.53060049124961]
  Video-BrowseCompは、オープンウェブのエージェントによるビデオ推論に適した210の質問からなるベンチマークである。 これは時間的視覚的証拠に必須に依存しており、回答はテキスト検索のみでは導き出せないことを保証している。 初のオープンWebビデオ調査ベンチマークとして、Video-BrowseCompは、受動的知覚を越えて、プロアクティブなビデオ推論へと分野を前進させた。
  論文  参考訳（メタデータ） (2025-12-28T19:08:27Z)
• MMDuet2: Enhancing Proactive Interaction of Video MLLMs with Multi-Turn Reinforcement Learning [46.07421375983852]
  本稿では,プロアクティブインタラクションのための新しいテキスト・テキスト・アプローチを提案する。 我々は、SFTとRLによる2種類の対話を伴う52kビデオのデータセット上で、モデルMDDuet2を訓練する。 実験の結果,MDDuet2は既存のプロアクティブビデオMLLMベースラインよりも応答時間と品質が優れていた。
  論文  参考訳（メタデータ） (2025-12-07T12:03:04Z)
• StreamEQA: Towards Streaming Video Understanding for Embodied Scenarios [33.70462645363648]
  StreamEQAは、エンボディされたシナリオにおけるビデオ質問応答の最初のベンチマークである。 156個の独立した長編ビデオの上に構築され、正確なタイムスタンプで約21Kの質問応答ペアを生成する。 StreamEQAは、エンボディされたアプリケーションのためのストリーミングビデオ理解の研究を触媒することを期待しています。
  論文  参考訳（メタデータ） (2025-12-04T04:48:16Z)
• InfoQuest: Evaluating Multi-Turn Dialogue Agents for Open-Ended Conversations with Hidden Context [4.262907114077643]
  大きな言語モデルは明示的な指示に従う点で優れているが、曖昧さや不完全なユーザリクエストに悩まされることが多い。 オープンエンドのユーザリクエストにおいて、対話エージェントが隠れコンテキストをどのように扱うかを評価するために設計されたベンチマークであるInfoQuestを紹介する。
  論文  参考訳（メタデータ） (2025-02-17T19:01:10Z)
• Admitting Ignorance Helps the Video Question Answering Models to Answer [82.22149677979189]
  モデルはしばしばショートカットを定め、結果として質問と回答の間に急激な相関関係が生じる、と我々は主張する。 そこで本研究では,モデルに不明瞭さを認めざるを得ない新たな学習手法を提案する。 実際に、我々のフレームワークに最先端のモデルを統合することで、その有効性を検証する。
  論文  参考訳（メタデータ） (2025-01-15T12:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。