論文の概要: How Far Are Video Models from True Multimodal Reasoning?

• arxiv url: http://arxiv.org/abs/2604.19193v1
• Date: Tue, 21 Apr 2026 08:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.677258
• Title: How Far Are Video Models from True Multimodal Reasoning?
• Title（参考訳）: 真のマルチモーダル推論からのビデオモデルはどこまで遠いのか?
• Authors: Xiaotian Zhang, Jianhui Wei, Yuan Wang, Jie Tan, Yichen Li, Yan Zhang, Ziyi Chen, Daoan Zhang, Dezhi YU, Wei Xu, Songtao Jiang, Zuozhu Liu,
• Abstract要約: CLVG-Benchは、ビデオモデルのゼロショット推論能力を調査するために設計された評価フレームワークである。 高品質で手動で注釈付けされたメタデータが6つのカテゴリと47のサブカテゴリにまたがっている。 最小限のアノテーションを用いて人間の専門家の認識と一致した適応的ビデオ評価器(AVE)を提案する。
• 参考スコア（独自算出の注目度）: 32.10821745418955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite remarkable progress toward general-purpose video models, a critical question remains unanswered: how far are these models from achieving true multimodal reasoning? Existing benchmarks fail to address this question rigorously, as they remain constrained by straightforward task designs and fragmented evaluation metrics that neglect complex multimodal reasoning. To bridge this gap, we introduce CLVG-Bench, an evaluation framework designed to probe video models' zero-shot reasoning capabilities via Context Learning in Video Generation. CLVG-Bench comprises more than 1,000 high-quality, manually annotated metadata across 6 categories and 47 subcategories, covering complex scenarios including physical simulation, logical reasoning, and interactive contexts. To enable rigorous and scalable assessment, we further propose an Adaptive Video Evaluator (AVE) that aligns with human expert perception using minimal annotations, delivering interpretable textual feedback across diverse video context tasks. Extensive experiments reveal a striking answer to our central question: while state-of-the-art (SOTA) video models, such as Seedance 2.0, demonstrate competence on certain understanding and reasoning subtasks, they fall substantially short with logically grounded and interactive generation tasks (achieving success rates <25% and ~0%, respectively), exposing multimodal reasoning and physical grounding as critical bottlenecks. By systematically quantifying these limitations, the proposed method provides actionable feedbacks and a clear roadmap toward truly robust, general-purpose video models. CLVG-Bench and code are released here.
• Abstract（参考訳）: 汎用ビデオモデルへの顕著な進歩にもかかわらず、重要な疑問は未解決のままである。 既存のベンチマークは、複雑なマルチモーダル推論を無視した単純なタスク設計と断片化された評価指標によって制約されているため、この問題に厳格に対処することができない。 このギャップを埋めるために,ビデオ生成におけるコンテキスト学習を通じて,ビデオモデルのゼロショット推論能力を探索するための評価フレームワークであるCLVG-Benchを導入する。 CLVG-Benchは、1000以上の高品質で、6つのカテゴリと47のサブカテゴリに手動でアノテートされたメタデータで構成され、物理的なシミュレーション、論理的推論、インタラクティブなコンテキストを含む複雑なシナリオをカバーしている。 厳密でスケーラブルなアセスメントを実現するために、最小限のアノテーションを用いて人間の専門家の認識と一致し、多様なビデオコンテキストタスク間で解釈可能なテキストフィードバックを提供するAdaptive Video Evaluator (AVE)を提案する。 Seedance 2.0のような最先端のSOTA(State-of-the-art)ビデオモデルは、ある種の理解と推論のサブタスクの能力を示す一方で、論理的に基礎と対話的な生成タスク(それぞれ25%と0%)がほとんど不足している。 これらの制限を体系的に定量化することにより、提案手法は、真に堅牢で汎用的なビデオモデルに向けた、実用的なフィードバックと明確なロードマップを提供する。 CLVG-Benchとコードはここでリリースされている。

関連論文リスト

• Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
  Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。 データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
  論文  参考訳（メタデータ） (2026-04-06T17:59:56Z)
• A Skill-augmented Agentic Framework and Benchmark for Multi-Video Understanding [69.31609753061137]
  マルチモーダルな大規模言語モデルはシングルビデオ理解において高いパフォーマンスを達成しているが、複数のビデオにまたがる推論能力は依然として限られている。 既存のアプローチでは、複数のビデオを1つの入力にまとめて直接推論を行い、トレーニングと推論のミスマッチを導入する。 現在のマルチビデオベンチマークでは、主にイベントレベルの比較を強調しており、アイデンティティレベルのマッチング、きめ細かい識別、構造化されたマルチステップ推論が過小評価されている。 視覚ツール,タスク固有のスキル,コンフリクト対応検証機構を統合した,多視点理解のためのスキル強化型エージェントフレームワークSAMAを提案する。
  論文  参考訳（メタデータ） (2026-03-16T02:09:48Z)
• ImplicitQA: Going beyond frames towards Implicit Video Reasoning [39.63171940350552]
  ImplicitQAは、人間のような暗黙の推論でビデオQAモデルをテストするために設計された新しいベンチマークである。 ImplicitQAは、1Kの高品質なクリエイティビティビデオクリップから引き出された1Kの微妙な注釈付きQAペアからなる。
  論文  参考訳（メタデータ） (2025-06-26T19:53:54Z)
• VidBridge-R1: Bridging QA and Captioning for RL-based Video Understanding Models with Intermediate Proxy Tasks [41.90092896728809]
  VidBridge-R1は、"Reason-Then-Respond"パラダイムの競合を効果的に橋渡しする、世界初の多目的ビデオ推論モデルである。 大規模な実験により、VidBridge-R1は1つのモデルにおいて、QAとキャプションの両方で大きなパフォーマンス向上を達成することが示された。
  論文  参考訳（メタデータ） (2025-06-10T03:57:53Z)
• VideoMathQA: Benchmarking Mathematical Reasoning via Multimodal Understanding in Videos [89.39873803375498]
  VideoMathQAは、ビデオ上で時間的に拡張されたクロスモーダル推論を実行できるかどうかを評価するために設計されたベンチマークである。 ベンチマークは10種類の数学的領域にまたがっており、ビデオは10秒から1時間以上に及ぶ。 構造化された視覚的コンテンツを解釈し、指導的物語を理解し、視覚的、音声的、テキスト的モダリティにまたがる共同概念を理解するためのモデルが必要である。
  論文  参考訳（メタデータ） (2025-06-05T17:59:58Z)
• MMR-V: What's Left Unsaid? A Benchmark for Multimodal Deep Reasoning in Videos [22.10711693948861]
  ビデオにおけるマルチモーダルディープ推論のためのベンチマークMMR-Vを提案する。 ベンチマークの特徴は以下のとおりである。 実験によると、現在のモデルはまだマルチモーダル推論に苦戦している。
  論文  参考訳（メタデータ） (2025-06-04T16:33:41Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。