論文の概要: ChartFI: Benchmarking Faithfulness and Insightfulness of Chart Descriptions from Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2605.23694v1
• Date: Fri, 22 May 2026 14:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.391782
• Title: ChartFI: Benchmarking Faithfulness and Insightfulness of Chart Descriptions from Multimodal Large Language Models
• Title（参考訳）: ChartFI:マルチモーダル大言語モデルからのチャート記述の忠実度と洞察力のベンチマーク
• Authors: Fen Wang, Zekai Shao, Qiman Kang, Chunran Hu, Zhixuan Zhang, Lexu Xie, Chao Liu, Siming Chen,
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、チャート記述の自動生成にますます採用されている。 チャートの記述は、アクセシビリティ、クロスモーダル検索、複雑な視覚化から洞察を抽出する読者の支援に不可欠である。 既存のデータセットは、浅い、事実を列挙した記述と組み合わせた、単純で均質なチャートで構成されています。
• 参考スコア（独自算出の注目度）: 14.757673771694291
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chart descriptions are essential for accessibility, cross-modal retrieval, and assisting readers in extracting insights from complex visualizations. As multimodal large language models (MLLMs) are increasingly adopted for automated chart description generation, a critical question arises: how faithfully and insightfully do these models actually describe charts? Current benchmarks fall short on two fronts: existing datasets consist of simple, homogeneous charts paired with shallow, fact-enumerating descriptions; and prevailing metrics fail to capture the multi-faceted nature of description quality. To address these gaps, we present the Chart Faithfulness and Insightfulness Benchmark (ChartFI-Bench). We first summarize four dimensions that characterize high-quality chart descriptions: factual accuracy, salient feature emphasis, domain-informed guidance, and chart-text complementarity. Guided by these dimensions, we construct a high-quality benchmark comprising 896 chart-description pairs, which feature visually complex charts and semantically rich descriptions. Furthermore, we design four aligned evaluation metrics -- Faithfulness, Coverage, Informativeness, and Acuity -- to systematically assess the quality of descriptions across these dimensions. Experiments conducted on mainstream MLLMs demonstrate the effectiveness of the proposed framework and reveal common weaknesses among existing models.
• Abstract（参考訳）: チャートの記述は、アクセシビリティ、クロスモーダル検索、複雑な視覚化から洞察を抽出する読者の支援に不可欠である。 マルチモーダルな大規模言語モデル(MLLM)は、自動チャート記述生成にますます採用されているため、重要な問題が発生する。 既存のデータセットは、浅い事実を列挙した記述と組み合わせた、単純で均質なチャートで構成されている。 これらのギャップに対処するため、ChartFI-Bench (ChartFI-Bench) と Chart Faithfulness and Insightfulness Benchmark (ChartFI-Bench) を提示する。 まず,高品質なチャート記述を特徴付ける4つの次元を要約する:事実的正確性,健全な特徴強調,ドメインインフォームドガイダンス,チャートテキスト補完性。 これらの次元で導かれ、視覚的に複雑なチャートと意味的に豊かな記述を特徴とする896のチャート記述ペアからなる高品質なベンチマークを構築した。 さらに、これらの次元にまたがる説明の質を体系的に評価するために、4つの整列した評価指標(信仰、カバー、インフォーマティブ、アクティリティ)を設計する。 MLLMで行った実験は,提案手法の有効性を実証し,既存モデルに共通する弱点を明らかにした。

関連論文リスト

• MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image [52.47434184153733]
  MulTaBenchは40のデータセットのベンチマークで、画像-タブラルタスクとテキスト-タブラルタスクを等しく分割する。 テキストと画像のモダリティにまたがって、ターゲット認識表現のチューニングによる利得が一般化されることを示す。
  論文  参考訳（メタデータ） (2026-05-11T14:12:05Z)
• ChartAB: A Benchmark for Chart Grounding & Dense Alignment [17.16234793106]
  視覚言語モデル(VLM)の包括的評価を提供する新しいChartAlign Benchmark(ChartAB)を導入する。 新たな2段階推論ワークフローを導入することで、ベンチマークは2つのチャートにまたがる要素/属性の調整と比較を行うVLMの機能をさらに評価することができる。 我々の評価分析は、チャート理解における認知バイアス、弱さ、頑健さ、幻覚に対する新たな洞察を明らかにする。
  論文  参考訳（メタデータ） (2025-10-30T17:56:31Z)
• Socratic Chart: Cooperating Multiple Agents for Robust SVG Chart Understanding [14.75820681491341]
  既存のベンチマークでは、真の視覚的推論ではなく、テキストベースのショートカットと確率的パターンマッチングに依存している。 グラフ画像をスケーラブルベクトルグラフ表現に変換する新しいフレームワークであるSocratic Chartを提案する。 我々のフレームワークは、グラフプリミティブを正確にキャプチャし、推論性能を向上させるために最先端モデルを上回る。
  論文  参考訳（メタデータ） (2025-04-14T00:07:39Z)
• Towards Understanding Graphical Perception in Large Multimodal Models [80.44471730672801]
  我々は,グラフにおけるLMMの知覚能力のギャップを分析するための評価フレームワークを開発するために,グラフィカル知覚の理論を利用する。 我々は3つのレベル(チャート、ビジュアル要素、ピクセル)における最先端LMMの知覚能力の評価と診断にフレームワークを適用した。
  論文  参考訳（メタデータ） (2025-03-13T20:13:39Z)
• Graph-Based Multimodal Contrastive Learning for Chart Question Answering [11.828192162922436]
  この研究は、チャートコンポーネントとその基盤構造間の関係を明示的にモデル化する、新しいマルチモーダルシーングラフフレームワークを導入している。 このフレームワークは、視覚グラフとテキストグラフの両方を統合し、構造的特徴と意味的特徴をキャプチャする。 グラフの対照的な学習戦略は、トランスフォーマーデコーダをソフトプロンプトとしてシームレスに組み込むことができるように、モジュール間のノード表現を整列させる。
  論文  参考訳（メタデータ） (2025-01-08T06:27:07Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
  CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。 品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。 その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-26T17:50:11Z)
• VisText: A Benchmark for Semantically Rich Chart Captioning [12.117737635879037]
  VisTextは、チャートの構成を記述した12,441組のチャートとキャプションのデータセットである。 我々のモデルはコヒーレントで意味的に豊かなキャプションを生成し、最先端のチャートキャプションモデルと同等に機能する。
  論文  参考訳（メタデータ） (2023-06-28T15:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。