論文の概要: OVIBench: Benchmarking Online Video Question Answering under Interruption
- arxiv url: http://arxiv.org/abs/2608.22279v1
- Date: Sun, 23 Aug 2026 08:12:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.694554
- Title: OVIBench: Benchmarking Online Video Question Answering under Interruption
- Title（参考訳）: OVIBench: 中断中のオンラインビデオ質問回答のベンチマーク
- Abstract要約: 視覚言語モデル(VLM)を評価するための最初の標準ベンチマークであるOVIBenchを紹介する。
OVIBenchは割り込みをCancellation、False Trigger、Correctionの3つのタイプに分類し、オープンエンドとマルチチョイスの両方の評価をサポートする。
実験により、OVIBenchはモデルの割り込み処理能力を効果的に区別できることが示されている。
- 参考スコア（独自算出の注目度）: 7.346987643902584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent vision language models (VLMs) have achieved strong progress in video understanding. However, most existing video QA research and benchmarks still follow an offline, single-round paradigm, overlooking realistic interactions where users may interrupt the model during answer generation. To address this gap, we formulate the task of Online Video Question Answering under Interruption and introduce OVIBench, the first standardized benchmark for evaluating VLMs in this setting. OVIBench categorizes interruptions into three types: Cancellation, False Trigger, Correction and supports both open-ended and multiple-choice evaluations. To enable large-scale and reproducible testing, we develop an offline simulation protocol that reproduces interruption during generation under a unified temporal setup, together with a multi-dimensional metric suite for assessing interruption understanding and response generation. Experiments demonstrate that OVIBench effectively distinguishes models' interruption-handling abilities, especially in following correction requests. Finally, we construct a train set OVI-Train for interruption-aware fine-tuning. Models fine-tuned on this dataset achieve significant gains on OVIBench, validating the effectiveness of our benchmark and data design. OVIBench, OVI-Train, and the evaluation code will be released.
- Abstract（参考訳）: 近年の視覚言語モデル(VLM)は,映像理解の進歩に大きく貢献している。
しかし、既存のビデオQA研究やベンチマークのほとんどは、ユーザが回答生成中にモデルを中断できる現実的な相互作用を見越して、オフラインでシングルラウンドのパラダイムに従っている。
このギャップに対処するために、Interruption下でのオンラインビデオ質問回答のタスクを定式化し、この設定でVLMを評価するための最初の標準ベンチマークであるOVIBenchを紹介します。
OVIBenchは割り込みをCancellation、False Trigger、Correctionの3つのタイプに分類し、オープンエンドとマルチチョイスの両方の評価をサポートする。
大規模かつ再現可能なテストを可能にするため,一貫した時間設定で生成中の割り込みを再現するオフラインシミュレーションプロトコルと,割り込み理解と応答生成を評価するための多次元計量スイートを開発した。
実験により、OVIBenchはモデルの割り込み処理能力を効果的に区別できることが示されている。
最後に、割り込みを考慮した微調整のための列車セットOVI-Trainを構築する。
このデータセットで微調整されたモデルは、OVIBenchで大幅に向上し、ベンチマークとデータ設計の有効性を検証する。
OVIBench、OVI-Train、および評価コードがリリースされる。
関連論文リスト
- CollabVR: Collaborative Video Reasoning with Vision-Language and Video Generation Models [41.60751475372144]
ビデオ生成モデル(VGM)は、ゴール指向タスクにおいて繰り返し発生する障害モードを示す。
ステップレベルの批判においてVLMとVGMを結合するクローズドループフレームワークであるVLM-VGMコラボレーションビデオ推論(CollabVR)を提案する。
Gen-ViReとVBVR-Benchでは、CollabVRはシングル推論、Pass@$k$、マッチした計算における以前のテストタイムスケーリングベースラインよりも、オープンソースとクローズドソース両方のVGMを改善している。
論文 参考訳（メタデータ） (2026-05-09T06:39:17Z) - VSAS-BENCH: Real-Time Evaluation of Visual Streaming Assistant Models [39.78979236902648]
ストリーム視覚言語モデル(VLM)は、命令プロンプトと入力フレームのオンラインストリームが与えられた応答を連続的に生成する。
Visual Streaming Assistantsの新しいフレームワークとベンチマークであるVSAS-Benchを提案する。
論文 参考訳（メタデータ） (2026-04-08T22:31:20Z) - Robust Test-time Video-Text Retrieval: Benchmarking and Adapting for Query Shifts [28.52079785516312]
ビデオテキスト検索(VTR)モデルは、現実世界のクエリシフトに対して非常に脆弱である。
本稿では,HAT-VTR(Hubness Alleviation for Test-time Video-Text Retrieval)をベースラインテストタイム適応フレームワークとして提案する。
大規模な実験により、HAT-VTRはロバスト性を大幅に改善し、さまざまなクエリシフトシナリオで一貫してメソッドのパフォーマンスが向上することが示された。
論文 参考訳（メタデータ） (2026-02-15T05:57:44Z) - VIPER: Process-aware Evaluation for Generative Video Reasoning [64.86465792516658]
我々は、時間的、構造的、象徴的、空間的、物理的、計画的推論にまたがる16のタスクにまたがる包括的なベンチマークVIPERを紹介する。
実験の結果,現状の映像モデルでは約20%のPOC@1.0しか達成できず,良好な結果が得られた。
論文 参考訳（メタデータ） (2025-12-31T16:31:59Z) - Stable Video Infinity: Infinite-Length Video Generation with Error Recycling [76.91310169118408]
本研究では、高時間一貫性、可視的シーン遷移、制御可能なストリーミングストーリーラインを有する無限長ビデオを生成することができる安定ビデオインフィニティ(SVI)を提案する。
SVIにはError-Recycling Fine-Tuningが組み込まれており、これはDiffusion Transformerの自己生成エラーをスーパーバイザのプロンプトにリサイクルする、新しいタイプの効率的なトレーニングである。
我々は、一貫性、創造性、条件設定を含む3つのベンチマークでSVIを評価し、その汎用性と最先端の役割を徹底的に検証した。
論文 参考訳（メタデータ） (2025-10-10T09:45:46Z) - Video-LLMs with Temporal Visual Screening [59.18455762289321]
テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。
TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。
実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
論文 参考訳（メタデータ） (2025-08-27T14:33:32Z) - AssistPDA: An Online Video Surveillance Assistant for Video Anomaly Prediction, Detection, and Analysis [52.261173507177396]
AssistPDAは,Anomaly Prediction, Detection and Analysis (VAPDA) を単一のフレームワークに統合した,初のオンラインビデオ異常監視アシスタントである。
AssistPDAは、インタラクティブなユーザエンゲージメントをサポートしながら、ストリーミングビデオのリアルタイム推論を可能にする。
また,新しい事象レベルの異常予測タスクを導入し,異常が完全に展開される前に前向きな異常予測を可能にする。
論文 参考訳（メタデータ） (2025-03-27T18:30:47Z) - DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。
オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。
DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
論文 参考訳（メタデータ） (2025-03-18T06:49:51Z) - Live Video Captioning [0.6291443816903801]
オンラインで動画ストリームにキャプションを生成しなければならないLive Video Captioning (LVC) という,画期的なパラダイムを紹介した。
我々は,LVCの新たな課題を正式に定義し,このオンラインシナリオに特化して設計された革新的な評価指標を提案する。
本稿では,変形可能な変換器と時間的フィルタリングを組み合わせた新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-06-20T11:25:16Z) - Video Mask Transfiner for High-Quality Video Instance Segmentation [102.50936366583106]
Video Mask Transfiner (VMT) は、高効率なビデオトランス構造により、微細な高解像度機能を利用することができる。
当社のVMTアーキテクチャに基づいて,反復的トレーニングと自己補正による自動アノテーション改善アプローチを設計する。
我々はVMTとHQ-YTVISの最新の最先端手法、Youtube-VIS、OVIS、BDD100K MOTSを比較した。
論文 参考訳（メタデータ） (2022-07-28T11:13:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。