論文の概要: From Perception to Prediction and Intervention: Benchmarking Proactive Video Assistants in Real-Life Scenarios

• arxiv url: http://arxiv.org/abs/2610.21568v1
• Date: Thu, 15 Oct 2026 09:23:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.017257
• Title: From Perception to Prediction and Intervention: Benchmarking Proactive Video Assistants in Real-Life Scenarios
• Title（参考訳）: 知覚から予測・干渉へ:実生活シナリオにおけるプロアクティブビデオアシスタントのベンチマーク
• Abstract要約: textscP$3$IBenchは,リアルタイムストリーミングシナリオにおけるプロアクティブビデオ理解のためのベンチマークである。 我々は、ストリーミングや適応型非ストリーミングシステムを含む12の代表的なオープンソースおよびプロプライエタリなビデオ言語モデルをベンチマークする。 我々は、追加のプロアクティブトレーニングデータを構築し、textscP$3$I-Assistant-4B をトレーニングし、いくつかのタスクを改善する。
• 参考スコア（独自算出の注目度）: 37.81708997870599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multimodal large language models have advanced video understanding, but existing benchmarks mainly evaluate whether models can interpret observed visual content. In real-world scenarios, assistants must additionally anticipate what assistance is needed and decide when to provide it. To address this gap, we introduce \textsc{P$^3$IBench}, a benchmark for proactive video understanding in real-life streaming scenarios. It evaluates three complementary capabilities: daily perception, risk prediction and intervention. We benchmark 12 representative open-source and proprietary video-language models, including streaming and adapted non-streaming systems. Our evaluation shows that current models struggle to make well-calibrated response decisions. Finally, we construct additional proactive training data and train \textsc{P$^3$I-Assistant-4B}, achieving improvements on several tasks, though gains remain uneven across capabilities. Together, these findings show that effective proactive assistance requires not only visual understanding, but also precise response timing and appropriate restraint.
• Abstract（参考訳）: 近年のマルチモーダルな大言語モデルには高度な映像理解があるが、既存のベンチマークでは、観察された視覚的コンテンツを解釈できるかどうかを主に評価している。 現実のシナリオでは、アシスタントは必要な支援を期待し、いつ提供するかを決めなければなりません。 このギャップに対処するために,実生活のストリーミングシナリオにおけるプロアクティブなビデオ理解のためのベンチマークである \textsc{P$^3$IBench} を導入する。 日常的な知覚、リスク予測、介入の3つの補完能力を評価する。 我々は、ストリーミングや適応型非ストリーミングシステムを含む12の代表的なオープンソースおよびプロプライエタリなビデオ言語モデルをベンチマークする。 評価の結果,現在のモデルでは適切な回答決定を下すのに苦労していることがわかった。 最後に,予備的なトレーニングデータを構築して,いくつかのタスクの改善を達成しながらも,機能間での利得は相変わらず保たれるよう,‘textsc{P$^3$I-Assistant-4B}’を訓練する。 これらの結果から,効果的なプロアクティブ・アシストには視覚的理解だけでなく,正確な応答タイミングと適切な抑制が必要であることが示唆された。

関連論文リスト

• VideoSeeker: Incentivizing Instance-level Video Understanding via Native Agentic Tool Invocation [46.226603529472065]
  VideoSeekerは、視覚的なプロンプトによるインスタンスレベルのビデオ理解のための新しいパラダイムである。 大規模で高品質なインスタンスレベルのビデオデータを効率よく生成する4段階の完全自動データ合成パイプラインを構築した。 我々のモデルは、インスタンスレベルのビデオ理解タスクのベースラインよりも平均で+13.7%向上する。
  論文  参考訳（メタデータ） (2026-05-15T15:43:28Z)
• How Far Are Video Models from True Multimodal Reasoning? [32.10821745418955]
  CLVG-Benchは、ビデオモデルのゼロショット推論能力を調査するために設計された評価フレームワークである。 高品質で手動で注釈付けされたメタデータが6つのカテゴリと47のサブカテゴリにまたがっている。 最小限のアノテーションを用いて人間の専門家の認識と一致した適応的ビデオ評価器(AVE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:04:02Z)
• EVA: Efficient Reinforcement Learning for End-to-End Video Agent [28.603844837930225]
  エンド・ツー・エンド・ビデオ・エージェントのための効率的な強化学習フレームワークであるEVAを提案する。 EVAは、何を見るか、いつ見るか、どのように見るかを自律的に決定し、クエリ駆動で効率的なビデオ理解を実現する。
  論文  参考訳（メタデータ） (2026-03-24T08:06:29Z)
• VideoVeritas: AI-Generated Video Detection via Perception Pretext Reinforcement Learning [42.22791607763693]
  VideoVeritasは、きめ細かい認識と事実に基づく推論のためのフレームワークだ。 共同知覚選好と知覚Pretext Reinforcement Learningが使用される。
  論文  参考訳（メタデータ） (2026-02-09T16:00:01Z)
• HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding [120.84817886550765]
  MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。 既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。 我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T11:52:24Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• About Time: Advances, Challenges, and Outlooks of Action Understanding [57.76390141287026]
  この調査は、様々なタスクにおけるユニモーダルおよびマルチモーダルな行動理解の進歩を包括的にレビューする。 我々は,現在普及している課題,広く採用されているデータセットの概要,そして最近の進歩を重視したセミナー作品の調査に焦点をあてる。
  論文  参考訳（メタデータ） (2024-11-22T18:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。