論文の概要: DataVista: Diagnosing Multimodal LLMs on Data Video Understanding

• arxiv url: http://arxiv.org/abs/2610.11993v1
• Date: Thu, 08 Oct 2026 14:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.065205
• Title: DataVista: Diagnosing Multimodal LLMs on Data Video Understanding
• Title（参考訳）: DataVista: データビデオ理解におけるマルチモーダルLLMの診断
• Abstract要約: データビデオ理解のための最初のベンチマークであるDataVistaを紹介する。 最高のパフォーマンスモデルは全体の70.0%の精度を実現します。 フレーム数の増加と字幕の追加は、主にデータ知覚と時間的推論の恩恵を受ける。
• 参考スコア（独自算出の注目度）: 9.504494498428102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data video is a media form that integrates data visualization with video narrative, widely adopted in news reporting and business analysis. Compared with general video understanding, data video understanding places greater emphasis on accurately reading data from animated charts, integrating evidence across charts and time, and understanding how narrative organization and visual design communicate information. Yet existing benchmarks target either general videos or static charts, and data video understanding has not been systematically evaluated. We present DataVista, the first benchmark for data video understanding, containing 961 real-world data videos and 6,775 evaluation questions organized under a three-level progressive capability framework (data perception, temporal reasoning, narrative understanding) with 10 fine-grained question types across five topic domains. Systematic evaluation of 19 mainstream MLLMs shows that the best-performing model, Gemini-3.1-Pro, achieves 70.0% overall accuracy, still far below human expert performance, with models performing worst on Causal Reasoning and Narrative Structure. Increasing frame counts and adding subtitles mainly benefit data perception and temporal reasoning, with limited gains in narrative understanding. Further analysis of model responses identifies typical failure modes in chart reading, evidence judgment, and instruction understanding. The benchmark is available at https://github.com/HKUSTDial/DataVista.
• Abstract（参考訳）: データビデオは、データ視覚化とビデオ物語を統合したメディア形式であり、ニュース報道やビジネス分析に広く採用されている。 一般的なビデオ理解と比較して、データビデオ理解は、アニメーションチャートから正確にデータを読み取ること、チャートと時間にまたがるエビデンスを統合すること、物語組織とビジュアルデザインがどのように情報を伝達するかを理解することに重点を置いている。 しかし、既存のベンチマークでは、一般的なビデオか静的チャートのいずれかをターゲットにしており、データビデオの理解は体系的に評価されていない。 データビデオ理解のための最初のベンチマークであるDataVistaは,5つのトピックドメインに10種類のきめ細かい質問型を持つ3段階のプログレッシブ・キャパシティー・フレームワーク(データ認識,時間的推論,物語理解)に基づいて,実世界の961個のデータビデオと6,775個の評価質問を含む。 19のメインストリームMLLMの体系的評価は、最高のパフォーマンスモデルであるGemini-3.1-Proが、人間の専門家のパフォーマンスよりはるかに低い70.0%の精度で達成されていることを示している。 フレーム数の増加とサブタイトルの追加は、主にデータ知覚と時間的推論の恩恵を受けており、物語理解の利益は限られている。 モデル応答のさらなる解析は、チャート読解、エビデンス判定、命令理解における典型的な障害モードを特定する。 ベンチマークはhttps://github.com/HKUSTDial/DataVista.comで公開されている。

関連論文リスト

• DataMagic: Authoring Data Videos through Declarative Multi-Agent Orchestration [9.62838372000058]
  データビデオは動的チャート、音声ナレーション、同期アニメーションを通じてデータインサイトを通信する。 データ分析、物語デザイン、ビデオ編集の専門知識が必要です。 本稿では,宣言型マルチエージェントオーケストレーションによるデータビデオ作成を行うDataMagicを紹介する。
  論文  参考訳（メタデータ） (2026-09-27T09:31:21Z)
• DVBench: Benchmarking MLLMs for Understanding Dynamic Charts and Narratives in Data Videos [10.347596683056395]
  データビデオ上でMLLMを評価するベンチマークであるDVBenchを紹介する。 DVBenchは300の現実世界のデータビデオと、厳格な半自動パイプラインでキュレートされた1000の人間検証QAペアで構成されている。 オープンソースのモデル性能はパラメータサイズに厳密にスケールせず、物語の習熟度は視覚能力を保証することができない。
  論文  参考訳（メタデータ） (2026-08-30T10:38:29Z)
• PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding [126.15907330726067]
  画像と映像の理解において透過的な研究を行うために,完全オープンかつ再現可能なフレームワークで知覚モデル(PLM)を構築することを研究する。 モデルからの蒸留なしで標準的な訓練パイプラインを分析し、大規模合成データを調べ、重要なデータギャップを識別する。 これらのギャップを埋めるために、我々は、挑戦的なビデオ理解タスクを評価するためのスイートであるPLM-VideoBenchをリリースした。
  論文  参考訳（メタデータ） (2025-04-17T17:59:56Z)
• E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding [57.630136434038384]
  E.T. Bench (Event-Level & Time-Sensitive Video Understanding Benchmark)は、イベントレベルのオープンな理解のための大規模ベンチマークである。 ベンチマークでは,8つの画像-LLMと12個のビデオ-LLMを広範囲に評価し,その結果から,粗い(ビデオレベル)理解のための最先端モデルが,きめ細かなタスクの解決に苦慮していることが判明した。 私たちのシンプルだが効果的なソリューションは、複数のシナリオで優れたパフォーマンスを示します。
  論文  参考訳（メタデータ） (2024-09-26T17:53:04Z)
• Rethinking Video-Text Understanding: Retrieval from Counterfactually Augmented Data [19.210471935816273]
  本稿では,映像テキスト理解のための新しい評価タスク,すなわち,対実的拡張データ(RCAD)と新しいFeint6Kデータセットを提案する。 新しい評価タスクを成功させるためには、モデルはクロスフレーム推論からビデオの包括的理解を導き出さなければならない。 提案手法は,複数のビデオテキストモデルに適用した場合に,より識別的な動作埋め込みを学習し,Feint6Kの結果を改善する。
  論文  参考訳（メタデータ） (2024-07-18T01:55:48Z)
• Understanding ME? Multimodal Evaluation for Fine-grained Visual Commonsense [98.70218717851665]
  モデルが、限られた評価データ資源のために、視覚的シーンと基礎となるコモンセンス知識を本当に理解しているかどうかは不明だ。 本稿では,視覚シーン,テキスト,関連知識に対するモデルの理解をテストするために,質問応答ペアを自動的に生成するマルチモーダル評価(ME)パイプラインを提案する。 次に、MEデータによるトレーニングが標準VCR評価におけるモデルの性能を高めることを示すために、さらに一歩踏み出します。
  論文  参考訳（メタデータ） (2022-11-10T21:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。