論文の概要: Making Multimodal LLMs Reliable Chart Data Extractors: A Benchmark and Training Framework

• arxiv url: http://arxiv.org/abs/2606.29808v1
• Date: Mon, 29 Jun 2026 05:40:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.062418
• Title: Making Multimodal LLMs Reliable Chart Data Extractors: A Benchmark and Training Framework
• Title（参考訳）: マルチモーダルLLMの作成 信頼性の高いチャートデータエクストラクタ:ベンチマークとトレーニングフレームワーク
• Abstract要約: 既存のインタラクティブツールは信頼性があるが面倒であり、混合開始型システムであるが、より効率的であり、一般化性に欠ける。 最近の大規模言語モデル(MLLM)は、チャート解釈のための統一されたインタフェースを提供するが、正確なデータテーブルを抽出する能力は、特に可視ラベルなしでは、まだ不明である。 データラベルを使わずに、さまざまな実世界のチャートを特徴とするベンチマークを構築し、その能力を評価する。 その結果、現在のMLLMはテーブル構造を確実に再構築する一方で、正確な値回復に苦慮していることがわかった。
• 参考スコア（独自算出の注目度）: 27.45365558629541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chart data extraction, which reverse-engineers data tables from chart images, is essential for reproducibility, analysis, retrieval, and redesign. Existing interactive tools are reliable but tedious, and mixed-initiative systems, while more efficient, lack generalizability. Recent multimodal large language models (MLLMs) offer a unified interface for chart interpretation, yet their ability to extract accurate data tables, especially without visible labels, remains unclear. We build a benchmark featuring diverse real-world charts without data labels to evaluate this capability. Results show that, while current MLLMs reliably reconstruct table structures, they struggle with precise value recovery. To address this, we revisit chart data extraction from a human-centered perspective and argue that extraction should follow a progressive learning process similar to how people read charts. Our training framework substantially improves numerical accuracy, achieving state-of-the-art performance with a 7B-parameter model. A user study further shows that our model effectively supports mixed-initiative workflows for reliable chart data extraction.
• Abstract（参考訳）: チャート画像からデータテーブルをリバースエンジニアリングするチャートデータ抽出は、再現性、分析、検索、再設計に不可欠である。 既存のインタラクティブツールは信頼性があるが面倒であり、混合開始型システムであるが、より効率的であり、一般化性に欠ける。 最近のマルチモーダル大言語モデル(MLLM)は、チャート解釈のための統一インターフェースを提供するが、正確なデータテーブルを抽出する能力は、特に可視ラベルなしでは、まだ不明である。 データラベルを使わずに、さまざまな実世界のチャートを特徴とするベンチマークを構築し、その能力を評価する。 その結果、現在のMLLMはテーブル構造を確実に再構築する一方で、正確な値回復に苦慮していることがわかった。 これを解決するために、人間中心の観点からのグラフデータ抽出を再考し、人々がチャートを読むのと同じように、抜粋は進歩的な学習プロセスに従うべきであると論じる。 トレーニングフレームワークは,7Bパラメータモデルで最先端性能を実現することにより,数値精度を大幅に向上させる。 さらに,本モデルでは,信頼度の高いグラフデータ抽出のための混合開始ワークフローを効果的にサポートすることを示す。

関連論文リスト

• DEEPCHART: How Far are LLMs from Faithful Data-Science Chart Generation? [54.230123199584305]
  DEEPCHARTは、現実世界の科学論文やファイナンシャルファイリング、エコシステムレポートから1,482のグラフ生成インスタンスのエキスパートによるベンチマークである。 最先端のモデルを用いた実験では、視覚的に可視なチャートは、しばしばデータレベルの幻覚を隠蔽し、リアルな長期およびマルチモーダルな設定で一般的な抽出と推論エラーを隠蔽している。
  論文  参考訳（メタデータ） (2026-08-27T07:53:08Z)
• Bar-JEPA: Extracting Values from Bar Chart with Joint-Embedding Predictive Architecture [50.95839069602553]
  バーチャートはデータ視覚化によく使われており、人間によって容易に理解されるが、基礎となるデータを抽出することは自明ではない。 そこでは、JEPAエンコーダを使用して、セマンティックにリッチな潜在機能を生成する。 このモデルとエンド・ツー・エンド・エンドの教師付きベースラインを比較すると, 自己教師付き微調整の有効性と抽出特徴の品質が明らかになる。
  論文  参考訳（メタデータ） (2026-08-06T14:07:26Z)
• Self-Ensembling Vision-Language Models for Chart Data Extraction [0.0]
  手動でチャートをデジタル化することは、時間とエラーを起こし、自動チャートからテーブルへの抽出を動機付けます。 近年のアプローチでは、特殊視覚言語モデル(VLM)が採用されているが、多くのデータポイントや相当なスタイリスティックなバリエーションを持つチャートでは、まだパフォーマンスが遅れている。 固定チャート画像に対して同一のVLMから複数の出力を繰り返しサンプリングし,個々のテーブルセルのレベルで集約するVLM自己組織化手法を提案する。
  論文  参考訳（メタデータ） (2026-05-26T17:10:51Z)
• ChartAB: A Benchmark for Chart Grounding & Dense Alignment [17.16234793106]
  視覚言語モデル(VLM)の包括的評価を提供する新しいChartAlign Benchmark(ChartAB)を導入する。 新たな2段階推論ワークフローを導入することで、ベンチマークは2つのチャートにまたがる要素/属性の調整と比較を行うVLMの機能をさらに評価することができる。 我々の評価分析は、チャート理解における認知バイアス、弱さ、頑健さ、幻覚に対する新たな洞察を明らかにする。
  論文  参考訳（メタデータ） (2025-10-30T17:56:31Z)
• Are LLMs ready to help non-expert users to make charts of official statistics data? [39.88557897908524]
  正しいデータの識別と、視覚的な情報を提供するためのグラフの完全な自動作成を容易にする、現在の生成AIモデルがありますか? 本稿では,ユーザクエリに応答して複雑なデータからグラフを生成する,最近の大規模言語モデルの機能について,構造化された評価を行う。 結果は、正しいデータの配置と処理が最も重要な課題であることを示している。
  論文  参考訳（メタデータ） (2025-09-03T08:11:53Z)
• BigCharts-R1: Enhanced Chart Reasoning with Visual Reinforcement Finetuning [51.472854950300416]
  視覚的に多様なチャート画像を生成するデータセット生成パイプラインであるBigChartsを提案する。 純粋な合成データセットとは異なり、BigChartsは現実世界のデータを取り込んで、信頼性と視覚的多様性を保証する。 チャート推論に特化して設計された新たな報酬信号を導入することにより,モデルの堅牢性と一般化が促進される。
  論文  参考訳（メタデータ） (2025-08-13T13:39:17Z)
• Advancing Multimodal Large Language Models in Chart Question Answering with Visualization-Referenced Instruction Tuning [1.6570772838074355]
  マルチモーダル大言語モデル(MLLM)は、チャート質問応答(CQA)に大きな可能性を示す 近年の取り組みは、データ収集と合成によるデータセットのスケールアップに重点を置いている。 本稿では,トレーニングデータセットの強化とモデル開発を指導するための,可視化参照型指導チューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:04:34Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• ChartLlama: A Multimodal LLM for Chart Understanding and Generation [70.1393163657813]
  GPT-4を利用した高品質な命令チューニングデータセットを作成する。 次に、生成したデータセットを使ってトレーニングしたマルチモーダルな大規模言語モデルであるChartLlamaを紹介します。
  論文  参考訳（メタデータ） (2023-11-27T15:20:23Z)
• StructChart: On the Schema, Metric, and Augmentation for Visual Chart Understanding [54.45681512355684]
  現在のチャート関連タスクは、ビジュアルチャートから情報を抽出するチャート認識か、抽出されたデータに基づいてチャート推論にフォーカスする。 我々はStructChartを紹介した。StructChartはStruct Triplet Representations(STR)を利用して、統一的でラベル効率のよいアプローチを実現する新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-09-20T12:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。