論文の概要: Benchmarking Visual State Tracking in Multimodal Video Understanding

• arxiv url: http://arxiv.org/abs/2606.03920v1
• Date: Tue, 02 Jun 2026 17:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.20511
• Title: Benchmarking Visual State Tracking in Multimodal Video Understanding
• Title（参考訳）: マルチモーダルビデオ理解における視覚状態追跡のベンチマーク
• Authors: Sihyun Yu, Nanye Ma, Pinzhi Huang, Hyunseok Lee, Shusheng Yang, June Suk Choi, Ellis Brown, Oscar Michel, Boyang Zheng, Jinwoo Shin, Saining Xie,
• Abstract要約: マルチモーダル大言語モデル(MLLM)における視覚状態追跡の診断のためのVisual STAte Tracking benchmark (VSTAT)を導入する。 VSTATは、合成ビデオと実世界のビデオの両方から834のクリップで構成され、1500の質問と組み合わせて、1つのフレームまたはショートセグメントから答えられない。 MLLMは理由を見つけ、テキストで正しく追跡するが、追跡するイベントを視覚的に知覚することができない。
• 参考スコア（独自算出の注目度）: 67.73383974166462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding a video requires more than recognizing isolated moments, as humans continuously track entities, states, and events over time. This capacity for visual state tracking is fundamental to video understanding, yet remains underexplored in current evaluations of Multimodal Large Language Models (MLLMs). We introduce Visual STAte Tracking benchmark (VSTAT), a video-based benchmark designed to diagnose visual state tracking in MLLMs. VSTAT consists of 834 clips drawn from both synthetic and real-world videos, paired with 1,500 questions that cannot be answered from any single frame or short segment, requiring continuous perception and integration of events across the entire video stream. Despite their strong performance on existing video benchmarks, we find that state-of-the-art MLLMs perform far below humans and only modestly above answer-prior baselines. To analyze this gap, we compare MLLMs' thinking traces with the underlying video stream to understand why and when MLLMs fail on VSTAT. We find that MLLMs reason and track correctly in text, but fail at visually perceiving the events they need to track. Finally, our preliminary evaluation suggests that recent agentic approaches, including MLLM-based video agents and coding agents, do not readily resolve these failures, still falling short on VSTAT.
• Abstract（参考訳）: ビデオを理解するには、人間が時間とともに実体、状態、出来事を継続的に追跡するため、孤立した瞬間を認識する以上のものが必要である。 視覚状態追跡のこの能力は、ビデオ理解の基礎であるが、Multimodal Large Language Models (MLLM) の現在の評価では未定である。 MLLMの視覚状態追跡を診断するためのビデオベースベンチマークであるVisual STAte Tracking benchmark (VSTAT)を紹介する。 VSTATは、合成ビデオと実世界のビデオの両方から描かれた834のクリップで構成され、1500の質問と組み合わせて、単一のフレームやショートセグメントから答えられず、ビデオストリーム全体にわたって連続的な認識とイベントの統合を必要としている。 既存のビデオベンチマークのパフォーマンスは高いが、最先端のMLLMは人間よりはるかに低く、答え優先のベースラインよりわずかに上であることがわかった。 このギャップを分析するために,MLLMがVSTAT上で失敗する理由とタイミングを理解するために,MLLMの思考トレースと基礎となるビデオストリームを比較した。 MLLMは理由を見つけ、テキストで正しく追跡するが、追跡するイベントを視覚的に知覚することができない。 最後に,MLLMをベースとしたビデオエージェントやコーディングエージェントなど,近年のエージェント的アプローチは,これらの障害の解決に至らず,VSTATには及ばない可能性が示唆された。

関連論文リスト

• Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
  ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。 本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T17:32:20Z)
• VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval [11.519642157641023]
  本稿では,ビデオテキストの埋め込みと検索にMLLMを活用することに焦点を当てる。 まず,中間層(事前学習)MLLM層がすでにタスク関連情報を有意にエンコードしていることを示す。 我々は,中間層埋め込みと校正MLLMヘッドを組み合わせることで,トレーニングなしで強力なゼロショット検索性能が得られることを示した。
  論文  参考訳（メタデータ） (2026-02-08T19:39:32Z)
• A Survey on Video Temporal Grounding with Multimodal Large Language Model [107.24431595873808]
  時間的グラウンドリング(VTG)の最近の進歩は、きめ細かいビデオ理解を著しく向上させた。 より優れたマルチモーダル理解と推論能力により、MLLM(VTG-MLLM)に基づくVTGアプローチは、従来の微調整手法を徐々に超えつつある。 一般的なビデオ言語理解に関する広範な調査にもかかわらず、VTG-MLLMに関する包括的なレビューは乏しいままである。
  論文  参考訳（メタデータ） (2025-08-07T08:52:11Z)
• MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
  本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。 MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。 ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
  論文  参考訳（メタデータ） (2024-06-20T17:26:01Z)
• The Instinctive Bias: Spurious Images lead to Illusion in MLLMs [34.91795817316696]
  MLLMは、非常に関連性が高いが、応答に矛盾する画像で構成されている。 本稿では,スプリアス画像の視覚錯視レベルを評価する最初のベンチマークである相関QAを提案する。 我々は9つの主流MLLMについて徹底的な分析を行い、これらの本能バイアスが様々な程度に普遍的に悩まされていることを指摘した。
  論文  参考訳（メタデータ） (2024-02-06T06:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。