論文の概要: Chartography: A Benchmark for Professional Chart Understanding

• arxiv url: http://arxiv.org/abs/2608.10677v1
• Date: Tue, 11 Aug 2026 08:57:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.969089
• Title: Chartography: A Benchmark for Professional Chart Understanding
• Title（参考訳）: Chartography: 専門的なチャート理解のためのベンチマーク
• Abstract要約: Chartographyは100のタスクのベンチマークで、専門的なプラクティスとドメイン固有のフォーマットのグラフをペアリングします。 30のフロンティアモデル構成の評価では、最高の設定は平均パス@1まで45.0%、残りは9.0-39.5%である。 すべてのタスク、イメージ、メタデータ、評価コードをリリースします。
• 参考スコア（独自算出の注目度）: 0.12430801435092285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Professionals across medicine, engineering, finance, manufacturing, and the sciences often make consequential decisions from charts. Existing chart benchmarks do not sufficiently measure this ability: they are dominated by bar, line, and pie formats, rely on shorter reasoning chains, and are nearing saturation, with frontier models already scoring 80-90%. We introduce Chartography, a benchmark of 100 tasks that pair charts drawn from professional practice, in domain-specific formats that standard chart benchmarks rarely include, with questions written by professionals who read these charts for a living and independently verified by three additional experts. In an evaluation of 30 frontier-model configurations (20 scored trials per task), the best configuration reaches only 45.0% mean pass@1; the remainder span 9.0-39.5%. Failures concentrate in visual perception: models can miss nuanced features, misread values along sparsely labeled axes, mishandle projected 3D geometry, and violate domain conventions encoded in the chart. We release all tasks, images, provenance metadata, and evaluation code.
• Abstract（参考訳）: 医学、工学、金融、製造業、科学の分野の専門家は、しばしばチャートから連続的な決定を下す。 既存のチャートベンチマークは、バー、ライン、パイのフォーマットに支配されており、より短い推論チェーンに依存しており、フロンティアモデルの80-90%がすでに飽和状態にあるため、この能力を十分に測定していない。 Chartographyは、専門的な実践から抽出された100のタスクのベンチマークで、標準的なチャートベンチマークにはほとんど含まれないドメイン固有のフォーマットで、これらのチャートを生かし、3人の専門家によって独立に検証された専門家によって書かれた質問である。 30のフロンティアモデル構成(タスク当たり20の試験結果)の評価では、最高の設定は平均パス@1まで45.0%、残りは9.0-39.5%である。 失敗は視覚的知覚に集中する: モデルはニュアンスのある特徴を見逃し、疎いラベル付き軸に沿って間違った値を読み、投影された3D幾何学を誤って扱い、チャートにエンコードされたドメイン規則に違反する。 すべてのタスク、イメージ、証明メタデータ、評価コードをリリースします。

関連論文リスト

• ChartArena: Benchmarking Chart Parsing across Languages, Scenarios, and Formats [31.5696204376104]
  数値チャートと図形構造の両方にまたがる8つのチャートファミリをカバーする総合ベンチマークであるChartArenaを紹介する。 データセットは、アノテーションの信頼性を保証するために、マルチステージのヒューマン検証を備えたヒューマンエージェントアノテーションパイプラインを介して構築される。 i) Gemini 3.1 Proのようなフロンティアモデルが全体としてリードしているが、最も強力なオープンソースシステムは急速にギャップを埋めている。
  論文  参考訳（メタデータ） (2026-05-31T17:00:17Z)
• ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation [51.49421299447412]
  マルチモーダルな大言語モデル(MLLM)は、データテーブルからのチャート生成を自動化するためにますます使われている。 ChartAttackは,MLLMを誤用して大規模にミスリードチャートを生成する方法を評価するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-19T11:57:48Z)
• Charts Are Not Images: On the Challenges of Scientific Chart Editing [66.38730113476677]
  textitFigEditは、3万以上のサンプルからなる科学的フィギュア編集のベンチマークである。 私たちのベンチマークでは、ピクセルレベルの操作の重大な制限が示されています。 textitFigEdit をリリースすることにより,構造対応図形編集の体系的な進歩の実現を目指す。
  論文  参考訳（メタデータ） (2025-11-30T06:13:48Z)
• BigCharts-R1: Enhanced Chart Reasoning with Visual Reinforcement Finetuning [51.472854950300416]
  視覚的に多様なチャート画像を生成するデータセット生成パイプラインであるBigChartsを提案する。 純粋な合成データセットとは異なり、BigChartsは現実世界のデータを取り込んで、信頼性と視覚的多様性を保証する。 チャート推論に特化して設計された新たな報酬信号を導入することにより,モデルの堅牢性と一般化が促進される。
  論文  参考訳（メタデータ） (2025-08-13T13:39:17Z)
• ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering [27.58410749367183]
  新しいベンチマークであるChartQAProを紹介した。これは157のさまざまなソースから1,341のチャートを含み、さまざまなチャートタイプにまたがっている。 21モデルによる評価は,ChartQAPro上でのLVLMの性能低下を示す。
  論文  参考訳（メタデータ） (2025-04-07T21:05:06Z)
• Rethinking Comprehensive Benchmark for Chart Understanding: A Perspective from Scientific Literature [33.69273440337546]
  我々は新しいベンチマークであるScience Chart QA (SCI-CQA)を導入する。 過去10年間で、トップクラスのコンピュータサイエンスカンファレンス15の論文から、202,760のイメージテキストペアのデータセットをキュレートしました。 SCI-CQAはまた、人間の試験にインスパイアされた新しい評価フレームワークを導入し、5,629の精査された質問を含んでいる。
  論文  参考訳（メタデータ） (2024-12-11T05:29:54Z)
• ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild [28.643565008567172]
  本稿では,PaliGemma上で開発された新しいチャート理解と推論モデルであるChartGemmaを紹介する。 基礎となるデータテーブルに頼るのではなく、ChartGemmaは、チャートイメージから直接生成されたインストラクションチューニングデータに基づいて訓練される。 我々の単純なアプローチは、チャートの要約、質問応答、ファクトチェックにまたがる5ドルのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-07-04T22:16:40Z)
• CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
  CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。 品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。 その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-26T17:50:11Z)
• AltChart: Enhancing VLM-based Chart Summarization Through Multi-Pretext Tasks [31.414783623207477]
  本稿では,AltChartデータセットについて紹介する。 本稿では,視覚言語モデル(VLM)を事前学習し,詳細なチャート表現を学習する手法を提案する。 我々は,4つの主要なチャート要約モデルの広範囲な評価を行い,それらの記述がどの程度アクセス可能かを分析した。
  論文  参考訳（メタデータ） (2024-05-22T12:18:52Z)
• ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning [55.22996841790139]
  我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。 ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。 我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
  論文  参考訳（メタデータ） (2024-02-19T14:48:23Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。