論文の概要: Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning
- arxiv url: http://arxiv.org/abs/2606.27828v1
- Date: Fri, 26 Jun 2026 08:12:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.429187
- Title: Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning
- Title（参考訳）: Video-MME-Logical:ビデオ時間論理推論のための制御診断ベンチマーク
- Abstract要約: ビデオ時間論的推論は、フレーム間で視覚状態が進化するにつれて、モデルがエビデンスを維持、更新、構成する必要がある。
本稿では,5つの時間論的操作のベンチマークであるVideo-MME-Logicalを紹介する。
時間的地平線の変化と推論の複雑さにより、難易度制御された最終回答の評価を可能にする。
- 参考スコア（独自算出の注目度）: 28.325120357282156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent interest in multimodal large language models (MLLMs) raises a central question: can they reason over dynamic visual evidence rather than merely recognize objects or events in individual frames? This ability, which we refer to as video temporal-logical reasoning, requires models to maintain, update, and compose evidence as visual states evolve across frames. Existing video benchmarks often conflate this capability with scene complexity, static recognition, or uncontrolled temporal variation. To isolate this capability, we introduce Video-MME-Logical, a controlled benchmark organized around five temporal-logical operations: state tracking, sequential counting, temporal ordering, dynamic spatiality, and structural composition. The benchmark contains 25 fine-grained task categories generated with controlled object states, transitions, temporal dependencies, and logical compositions. It enables difficulty-controlled final-answer evaluation by varying temporal horizon and reasoning complexity, and supports intermediate-state diagnostics by verifying whether models recover the required logical reasoning trace before producing the final answer. Experiments with state-of-the-art MLLMs reveal a substantial human-model gap, especially as temporal-logical complexity increases. Supervised fine-tuning on up to 500K generated samples improves performance but remains insufficient to close the reasoning gap, positioning Video-MME-Logical as a scalable testbed for analyzing and improving temporal-logical reasoning in MLLMs.
- Abstract（参考訳）: 最近のMLLM(Multimodal large language model)に対する関心は、個々のフレーム内のオブジェクトやイベントを単に認識するのではなく、動的視覚的エビデンスを推論できるのかという、中心的な疑問を提起している。
この能力は、ビデオの時間的論理的推論と呼ばれ、フレーム間で視覚状態が進化するにつれて、モデルの維持、更新、およびエビデンスを構成する必要がある。
既存のビデオベンチマークでは、この能力をシーンの複雑さ、静的認識、制御不能な時間変動と説明することが多い。
この機能を分離するために、状態追跡、シーケンシャルカウント、時間順序付け、動的空間性、構造構成の5つの時間論的操作を中心に構成された制御ベンチマークであるVideo-MME-Logicalを導入する。
ベンチマークには、制御されたオブジェクト状態、遷移、時間的依存関係、論理的合成によって生成される25のきめ細かいタスクカテゴリが含まれている。
時間的地平線と推論の複雑さの変化による難解な最終回答の評価を可能にし、最終回答を生成する前に、モデルが要求される論理的推論トレースを回復するかどうかを検証することによって、中間状態診断をサポートする。
最先端のMLLMを用いた実験では、特に時間的・論理的複雑性が増大するにつれて、人間とモデルの間の大きなギャップが明らかになる。
最大500Kまでの微調整により, 性能は向上するが, 推論ギャップを埋めるには不十分であり, MLLMの時間的論理的推論を解析・改善するためのスケーラブルなテストベッドとして, Video-MME-Logical を位置づけている。
関連論文リスト
- Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。
本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
論文 参考訳（メタデータ） (2026-06-01T17:32:20Z) - STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。
視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。
STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T16:33:00Z) - TOC-Bench: A Temporal Object Consistency Benchmark for Video Large Language Models [9.648992690108086]
ビデオ大言語モデル(ビデオ-LLM)は、一般的なビデオ理解において大きな進歩を遂げているが、時間的オブジェクトの一貫性を維持する能力はいまだ探索されていない。
ビデオLLMにおける時間的オブジェクトの一貫性を評価するための診断ベンチマークであるTOC-Benchを紹介する。
論文 参考訳（メタデータ） (2026-05-11T02:47:59Z) - Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。
これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。
既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
論文 参考訳（メタデータ） (2026-05-09T14:32:36Z) - TimeBlind: A Spatio-Temporal Compositionality Benchmark for Video LLMs [24.299498301173255]
TimeBlindは、詳細な時間的理解のための診断ベンチマークである。
我々は600のインスタンスで20以上の最先端MLLMを評価した。
最高のMLLMのインスタンス精度は48.2%に過ぎず、人間のパフォーマンス(98.2%)をはるかに下回っている。
論文 参考訳（メタデータ） (2026-01-30T20:21:46Z) - MORSE-500: A Programmatically Controllable Video Benchmark to Stress-Test Multimodal Reasoning [54.47710436807661]
MORSE-500(MORSE-500)は、6つの補足的推論カテゴリにまたがる500の完全スクリプト化されたクリップを埋め込んだビデオベンチマークである。
各インスタンスは、決定論的Pythonスクリプト(Manim、Matplotlib、MoviePy)、生成ビデオモデル、実際の映像を使用して生成される。
一度飽和すると時代遅れになる静的ベンチマークとは異なり、MORSE-500は進化するために構築されている。
論文 参考訳（メタデータ） (2025-06-05T19:12:45Z) - V-STaR: Benchmarking Video-LLMs on Video Spatio-Temporal Reasoning [40.18308199837137]
これらの問題点に対処するために,ビデオS-テンポラル推論(V-STa)ベンチマークを導入する。
我々は,ビデオLLMの時空間推論プロセスを実現するためのデータセットを構築した。
14のビデオ-LLMによる実験では、現在のビデオ-LLMと、堅牢で一貫性のある推論の必要性の間に大きなギャップが示されている。
論文 参考訳（メタデータ） (2025-03-14T15:21:44Z) - TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models [55.48403691519395]
トマト(Tomato)は、ビデオ理解におけるMFMの時間的推論能力を厳格に評価するための新しいベンチマークである。
TOMATOは、6つのタスクにまたがる1,484件の注意深いキュレーションと人間による注釈付き質問で構成されている。
総合評価の結果, 人体モデルの性能差は57.3%であり, 最良性能モデルでは57.3%であった。
論文 参考訳（メタデータ） (2024-10-30T17:50:23Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。