論文の概要: VidOmni-Bench: A Benchmark for Fine-Grained Video Understanding via Spatio-Temporal Event Verification across Complexity and Duration

• arxiv url: http://arxiv.org/abs/2609.21521v1
• Date: Fri, 18 Sep 2026 09:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.942876
• Title: VidOmni-Bench: A Benchmark for Fine-Grained Video Understanding via Spatio-Temporal Event Verification across Complexity and Duration
• Title（参考訳）: VidOmni-Bench: 複雑度と期間にわたる時空間イベント検証による微視的ビデオ理解のためのベンチマーク
• Abstract要約: Vid Omni-Benchは、高密度ビデオキャプション内の各イベントがビデオによってサポートされているかどうかをモデルに検証するベンチマークである。 Vid Omni-Benchは5つの複雑さのタイプと4秒から90分までの様々な期間にまたがる500のビデオで構成されている。 これらの軸に沿って動画を収集した後、多種多様なビデオLLMを用いて高密度キャプションを生成し、人間の検証された文レベルラベルを得る。
• 参考スコア（独自算出の注目度）: 13.15611307668176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Video Large Language Models (Video-LLMs) have recently demonstrated strong performance, reliably evaluating their fine-grained video understanding remains challenging. Existing benchmarks often rely on question answering or ground-truth caption matching, where models may succeed through superficial cues and incomplete annotations. To this end, we introduce VidOmni-Bench, a benchmark that requires models to verify whether each event in dense video captions is supported by the video. VidOmni-Bench consists of 500 videos spanning five complexity types and diverse durations from 4 seconds to 90 minutes. After collecting videos along these axes, we use diverse Video-LLMs to generate dense captions and obtain human-verified sentence-level labels, where sentences containing incorrect events serve as hard negatives for evaluation. Our experiments on VidOmni-Bench reveal three key findings: (i) Video-LLMs frequently generate hallucinated descriptions in dense video captioning; (ii) they also struggle as verifiers, failing to reliably detect plausible but incorrect event descriptions; and (iii) model weaknesses vary across video complexity and duration, revealing diverse, model-specific bottlenecks in current Video-LLMs.
• Abstract（参考訳）: Video Large Language Models (Video-LLMs) は、最近、強力なパフォーマンスを示したが、その微細なビデオ理解を確実に評価することは、依然として困難である。 既存のベンチマークは、表面的な手がかりや不完全なアノテーションを通じてモデルが成功するような、質問応答や接頭辞のマッチングに依存していることが多い。 この目的のために、高密度ビデオキャプション内の各イベントがビデオによってサポートされているかどうかをモデルに検証する必要があるベンチマークであるVidOmni-Benchを紹介する。 VidOmni-Benchは5つの複雑さタイプと4秒から90分までの様々な期間にまたがる500のビデオで構成されている。 これらの軸に沿って動画を収集した後、多種多様なビデオLLMを用いて高密度キャプションを生成し、不正確な事象を含む文が評価の難易度となるような人文レベルのラベルを得る。 VidOmni-Benchに関する我々の実験では、3つの重要な発見が明らかになった。 i)ビデオLLMは、高密度映像キャプションにおける幻覚的な記述を頻繁に生成する。 二 検証者としても苦戦し、確実かつ誤記を確実に検出することができず、 (3)現在のビデオLLMでは,映像の複雑さや持続時間によってモデルの弱点が異なり,多様で,モデル固有のボトルネックが明らかになっている。

関連論文リスト

• Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
  ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。 本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T17:32:20Z)
• SAMA: Towards Multi-Turn Referential Grounded Video Chat with Large Language Models [93.73583158211115]
  ビデオにおけるきめ細かい時間的理解の獲得は、現在のビデオ大マルチモデル(ビデオLMM)にとって大きな課題である。 私たちは、データセット、モデル、ベンチマークの3つの中核的な側面に貢献しています。 まず,ビデオ理解,グラウンドニング,マルチターンビデオチャットの共用学習を実現するため、15Kビデオからなる大規模データセットであるSAMA-239Kを紹介する。 第2に,広義の時間的コンテキストアグリゲータとセグメンションモデルを組み合わせたSAMAモデルを提案する。
  論文  参考訳（メタデータ） (2025-05-24T18:13:16Z)
• Lost in Time: A New Temporal Benchmark for VideoLLMs [48.71203934876828]
  現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。 提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T09:28:36Z)
• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)
• Towards Event-oriented Long Video Understanding [101.48089908037888]
  Event-Benchは、既存のデータセットとヒューマンアノテーションに基づいて構築された、イベント指向の長いビデオ理解ベンチマークである。 VIMは、統合されたイベント集約型ビデオ命令を用いて、ビデオMLLMを強化するコスト効率のよい方法である。
  論文  参考訳（メタデータ） (2024-06-20T09:14:19Z)
• SPOT! Revisiting Video-Language Models for Event Understanding [31.49859545456809]
  本稿では,既存のビデオ言語モデルのイベントレベルの相違点を識別する能力のベンチマークを行うSPOT Proberを紹介する。 これらの正負のキャプションで既存のビデオ言語モデルを評価した結果、操作されたイベントのほとんどを区別できないことがわかった。 そこで本研究では,これらの操作したイベントキャプションをハードネガティブなサンプルとしてプラグインし,イベント理解モデルの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-21T18:43:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。