論文の概要: InfoChartQA: A Benchmark for Multimodal Question Answering on Infographic Charts

• arxiv url: http://arxiv.org/abs/2505.19028v3
• Date: Tue, 03 Jun 2025 09:27:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 16:31:03.62654
• Title: InfoChartQA: A Benchmark for Multimodal Question Answering on Infographic Charts
• Title（参考訳）: InfoChartQA: インフォグラフィックチャートに基づくマルチモーダル質問回答ベンチマーク
• Authors: Minzhi Lin, Tianchi Xie, Mengchen Liu, Yilin Ye, Changjian Chen, Shixia Liu,
• Abstract要約: InfoChartQAは、インフォグラフィックチャートの理解に基づいてマルチモーダル大言語モデル(MLLM)を評価するためのベンチマークである。 5,642組のインフォグラフィックと平易なチャートが含まれており、それぞれが同じ基礎データを共有するが、視覚的な表示では異なる。 視覚的要素に基づく質問を設計し、そのユニークな視覚的デザインとコミュニケーション意図を捉える。
• 参考スコア（独自算出の注目度）: 16.465569022128324
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding infographic charts with design-driven visual elements (e.g., pictograms, icons) requires both visual recognition and reasoning, posing challenges for multimodal large language models (MLLMs). However, existing visual-question answering benchmarks fall short in evaluating these capabilities of MLLMs due to the lack of paired plain charts and visual-element-based questions. To bridge this gap, we introduce InfoChartQA, a benchmark for evaluating MLLMs on infographic chart understanding. It includes 5,642 pairs of infographic and plain charts, each sharing the same underlying data but differing in visual presentations. We further design visual-element-based questions to capture their unique visual designs and communicative intent. Evaluation of 20 MLLMs reveals a substantial performance decline on infographic charts, particularly for visual-element-based questions related to metaphors. The paired infographic and plain charts enable fine-grained error analysis and ablation studies, which highlight new opportunities for advancing MLLMs in infographic chart understanding. We release InfoChartQA at https://github.com/CoolDawnAnt/InfoChartQA.
• Abstract（参考訳）: デザイン駆動の視覚要素(ピクトグラム、アイコンなど)でインフォグラフィックチャートを理解するには、視覚認識と推論の両方が必要であり、マルチモーダルな大言語モデル(MLLM)の課題を提起する。 しかし、既存の視覚質問応答ベンチマークは、ペアの平易なチャートと視覚要素に基づく質問が欠如しているため、MLLMのこれらの能力を評価するには不十分である。 このギャップを埋めるために、インフォグラフィックチャート理解上でMLLMを評価するベンチマークであるInfoChartQAを紹介する。 5,642組のインフォグラフィックと平易なチャートが含まれており、それぞれが同じ基礎データを共有するが、視覚的な表示では異なる。 視覚的要素に基づく質問をさらに設計し、そのユニークな視覚的デザインとコミュニケーション意図を捉える。 20個のMLLMの評価は、特にメタファーに関連する視覚要素に基づく質問に対して、インフォグラフィックチャートの性能低下を顕著に示している。 インフォグラフィックと平易なグラフを組み合わせることで、詳細なエラー解析とアブレーション研究が可能となり、インフォグラフィックチャート理解においてMLLMを前進させる新たな機会が浮かび上がっている。 我々はInfoChartQAをhttps://github.com/CoolDawnAnt/InfoChartQAでリリースします。

関連論文リスト

• ChartLens: Fine-grained Visual Attribution in Charts [106.44872805609673]
  Post-Hoc Visual Attribution for Chartsは、所定のチャート関連応答を検証する詳細なチャート要素を特定する。 グラフオブジェクトの識別にセグメンテーションに基づく手法を用いた新しいチャート属性アルゴリズムであるChartLensを提案する。 評価の結果,ChartLensの微粒化属性は26-66%向上した。
  論文  参考訳（メタデータ） (2025-05-25T23:17:32Z)
• RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
  RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。 実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
  論文  参考訳（メタデータ） (2025-03-29T15:50:08Z)
• MSG-Chart: Multimodal Scene Graph for ChartQA [11.828192162922436]
  グラフに明示的に表示されていない基礎データのパターンを持つチャート要素の複雑な分布のため、ChartQA(Automatic Chart Question Answering)は難しい。 チャート要素とそれらのパターンの関係を明示的に表すために、チャートのための共同マルチモーダルシーングラフを設計する。 提案するマルチモーダルシーングラフには視覚グラフとテキストグラフが含まれており,そのグラフから構造的および意味的知識を共同でキャプチャする。
  論文  参考訳（メタデータ） (2024-08-09T04:11:23Z)
• TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning [83.58521787193293]
  本稿では,3Bパラメータのみを用いたチャート理解のための効率的なMLLMであるTinyChartを提案する。 TinyChartは,1)プログラム・オブ・ソート(PoT)学習戦略による数値計算学習の負担軽減,2)ビジョン・トーケン・マージ・モジュールによる高解像度画像のためのビジョン・トランスフォーマーによって生成される長大な視覚特徴系列の削減という,効率的なチャート理解における2つの課題を克服した。
  論文  参考訳（メタデータ） (2024-04-25T14:23:24Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)
• ChartBench: A Benchmark for Complex Visual Reasoning in Charts [36.492851648081405]
  MLLM(Multimodal Large Language Models)は画像の理解と生成に優れた能力を示している。 現在のベンチマークでは、限定的なチャートタイプと不適切なメトリクスのため、MLLMのチャート理解を正確に評価することができない。 複雑な視覚的推論によってチャートの理解とデータの信頼性を評価するための総合的なベンチマークであるChartBenchを提案する。
  論文  参考訳（メタデータ） (2023-12-26T07:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。