論文の概要: DEEPCHART: How Far are LLMs from Faithful Data-Science Chart Generation?
- arxiv url: http://arxiv.org/abs/2608.26757v1
- Date: Thu, 27 Aug 2026 07:53:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.29636
- Title: DEEPCHART: How Far are LLMs from Faithful Data-Science Chart Generation?
- Title（参考訳）: DEEPCHART: Fithful Data-Science Chart 生成の LLM はどこまであるのか?
- Authors: Jiahui tang, Kuicai Dong, Dexun Li, Hongchao Gu, Haocheng Yu, Wei Han, Chen Zhang, Yong Liu, Hao Wang, Enhong Chen,
- Abstract要約: DEEPCHARTは、現実世界の科学論文やファイナンシャルファイリング、エコシステムレポートから1,482のグラフ生成インスタンスのエキスパートによるベンチマークである。
最先端のモデルを用いた実験では、視覚的に可視なチャートは、しばしばデータレベルの幻覚を隠蔽し、リアルな長期およびマルチモーダルな設定で一般的な抽出と推論エラーを隠蔽している。
- 参考スコア（独自算出の注目度）: 54.230123199584305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Faithful chart generation in real-world data-science workflows requires grounding visualizations in scattered evidence, computing chart-ready quantities, and rendering them accurately. Modern LLMs can produce visually plausible, instruction-compliant charts, yet data-level hallucinations remain difficult to detect in long, noisy, and multimodal contexts. To measure this gap, we introduce DEEPCHART, an expert-annotated benchmark of 1,482 task-conditioned chart-generation instances drawn from real-world scientific papers, financial filings, and ecosystem reports. DEEPCHART formulates chart generation as an Extract--Reason--Visualize pipeline and evaluates source-data extraction, derived-data reasoning, and chart rendering stage by stage. Experiments with state-of-the-art models show that visually plausible charts often conceal data-level hallucinations, with extraction and reasoning errors common in realistic long and multimodal settings. These findings suggest that larger context windows alone are insufficient; faithful chart generation also requires reliable evidence extraction and quantitative reasoning before rendering. Our benchmark and associated resources are available at https://github.com/tangdouer1005/DeepChart.
- Abstract（参考訳）: 実世界のデータサイエンスワークフローにおける忠実なチャート生成には、散在するエビデンス、チャート対応量の計算、それらを正確にレンダリングする必要がある。
現代のLSMは視覚的に可視で命令に準拠するチャートを作成できるが、データレベルの幻覚は長い、うるさい、マルチモーダルなコンテキストで検出することは困難である。
このギャップを計測するために、DEPCHARTを紹介します。DEPCHARTは、現実世界の科学論文やファイナンシャルファイリング、エコシステムレポートから1,482のタスク条件付きチャート生成インスタンスのエキスパートによるベンチマークです。
DEEPCHARTは、抽出-推論-視覚化パイプラインとしてチャート生成を定式化し、ソースデータ抽出、導出-データ推論、チャート描画ステージをステージごとに評価する。
最先端のモデルを用いた実験では、視覚的に可視なチャートは、しばしばデータレベルの幻覚を隠蔽し、リアルな長期およびマルチモーダルな設定で一般的な抽出と推論エラーを隠蔽している。
これらの結果は、より大きなコンテキストウィンドウだけでは不十分であることが示唆され、忠実なチャート生成には、レンダリングの前に信頼できる証拠抽出と定量的推論が必要である。
ベンチマークと関連するリソースはhttps://github.com/tangdouer1005/DeepChart.comで公開されています。
関連論文リスト
- Making Multimodal LLMs Reliable Chart Data Extractors: A Benchmark and Training Framework [27.45365558629541]
既存のインタラクティブツールは信頼性があるが面倒であり、混合開始型システムであるが、より効率的であり、一般化性に欠ける。
最近の大規模言語モデル(MLLM)は、チャート解釈のための統一されたインタフェースを提供するが、正確なデータテーブルを抽出する能力は、特に可視ラベルなしでは、まだ不明である。
データラベルを使わずに、さまざまな実世界のチャートを特徴とするベンチマークを構築し、その能力を評価する。
その結果、現在のMLLMはテーブル構造を確実に再構築する一方で、正確な値回復に苦慮していることがわかった。
論文 参考訳（メタデータ） (2026-06-29T05:40:35Z) - VeriGraph: Towards Verifiable Data-Analytic Agents [71.17693022916896]
LLMをベースとしたエージェントは、データ集約分析タスクにおいて強力な能力を示してきたが、その出力は滅多に検証されていない。
We propose VeriGraph, a traceable neuro-symbolic reasoning framework that agent can construct an explicit heterogeneous evidence directed acyclic graph。
以上の結果から,明示的なエビデンスグラフ構築がデータ分析エージェントの検証に期待できる道のりであることが示唆された。
論文 参考訳（メタデータ） (2026-06-15T11:50:56Z) - Generating Statistical Charts with Validation-Driven LLM Workflows [0.0]
Flowwayは、チャート生成をデータセットのスクリーニング、プロット提案、コード合成、レンダリング、バリデーション駆動の洗練、記述生成、質問応答生成に分解する。
チャート生成をワンショットのプロンプト・ツー・コードタスクではなく、インスペクタブルなプロセスとして扱い、各チャートをコード、データセットコンテキスト、説明、質問応答ペアで保持する。
結果から, チャート・シンタクス問題はほぼ飽和しているが, 値抽出, 比較, 推論は依然として困難であることが示唆された。
論文 参考訳（メタデータ） (2026-05-01T17:39:00Z) - ChartPoint: Guiding MLLMs with Grounding Reflection for Chart Reasoning [54.86473583610112]
グラフの連鎖推論に反射的相互作用を統合するPointCoTを提案する。
位置アノテーションに基づいてMLLMにバウンディングボックスと再レンダリングチャートを生成することで、テキスト推論ステップと視覚的接地領域の接続を確立する。
我々は、いくつかのグラフベンチマークにおいて最先端のモデルであるChartPointQ2とChartPointQ2.5を開発した。
論文 参考訳（メタデータ） (2025-11-29T04:01:55Z) - Is this chart lying to me? Automating the detection of misleading visualizations [74.26574031329689]
誤解を招くビジュアライゼーションは、ソーシャルメディアやウェブ上での誤報の強力な原動力だ。
Misvizは、12種類のミスリーダーで注釈付けされた2,604の現実世界の視覚化のベンチマークである。
Misviz-synthは、Matplotlibを使って生成され、実世界のデータテーブルに基づいて81,814の可視化データからなる合成データセットである。
論文 参考訳（メタデータ） (2025-08-29T14:36:45Z) - BigCharts-R1: Enhanced Chart Reasoning with Visual Reinforcement Finetuning [51.472854950300416]
視覚的に多様なチャート画像を生成するデータセット生成パイプラインであるBigChartsを提案する。
純粋な合成データセットとは異なり、BigChartsは現実世界のデータを取り込んで、信頼性と視覚的多様性を保証する。
チャート推論に特化して設計された新たな報酬信号を導入することにより,モデルの堅牢性と一般化が促進される。
論文 参考訳（メタデータ） (2025-08-13T13:39:17Z) - ChartReasoner: Code-Driven Modality Bridging for Long-Chain Reasoning in Chart Question Answering [12.285453136336507]
本稿では,チャート上での正確かつ解釈可能な推論を可能にするための,コード駆動型フレームワークを提案する。
まず、多彩なチャート画像を構造化されたEChartsコードに変換するために、高忠実度モデルを訓練する。
次に、一般的なチャート推論データ合成パイプラインを設計する。
最後に、教師付き微調整と強化学習を組み合わせた最終マルチモーダルモデルを訓練する。
論文 参考訳（メタデータ） (2025-06-11T18:55:36Z) - ChartLens: Fine-grained Visual Attribution in Charts [106.44872805609673]
Post-Hoc Visual Attribution for Chartsは、所定のチャート関連応答を検証する詳細なチャート要素を特定する。
グラフオブジェクトの識別にセグメンテーションに基づく手法を用いた新しいチャート属性アルゴリズムであるChartLensを提案する。
評価の結果,ChartLensの微粒化属性は26-66%向上した。
論文 参考訳（メタデータ） (2025-05-25T23:17:32Z) - Chart-to-Text: A Large-Scale Benchmark for Chart Summarization [9.647079534077472]
2つのデータセットと44,096のチャートを持つ大規模ベンチマークであるChart-to-textを提示する。
データセット構築プロセスを説明し、データセットを解析する。
論文 参考訳（メタデータ） (2022-03-12T17:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。