論文の概要: Chartographer: Counterfactual Chart Generation for Evaluating Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.27311v1
• Date: Tue, 26 May 2026 17:20:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.492333
• Title: Chartographer: Counterfactual Chart Generation for Evaluating Vision-Language Models
• Title（参考訳）: グラフグラフィー:視覚・言語モデル評価のためのファクトファクトチャート生成
• Authors: Yifan Jiang, Dae Yon Hwang, Jesse C. Cresswell, Freda Shi,
• Abstract要約: Chartographerは、チャートを実行可能なコードにリバースエンジニアリングするフレームワークである。 我々は,視覚言語モデル(VLM)を用いて,変動感度と一般化可能性を評価する。
• 参考スコア（独自算出の注目度）: 28.71090458690654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chart question-answering (QA) benchmarks aim to pose questions that require visual reasoning to correctly answer, but models can often reach solutions through shortcuts or prior familiarity with a chart based on their own background knowledge. To strictly evaluate visual reasoning, we propose counterfactual charts where the chart-question task remains fixed, but underlying chart and the corresponding answer are varied. We introduce Chartographer, a framework to reverse engineer charts into executable code, validate reconstruction fidelity, generate seed-controlled counterfactual variants, and derive new answers from executable QA logic. We apply this framework to existing chart QA datasets and evaluate proprietary and open-source vision-language models (VLMs), measuring variation sensitivity and generalizability. Counterfactual charts reveal failures hidden by single-chart performance: VLMs often fail to generalize after answering the original chart correctly. We find failures are most prevalent when updated charts require novel visual reasoning pathways.
• Abstract（参考訳）: チャート質問回答(QA)ベンチマークは、視覚的推論を必要とする質問を正しく答えることを目的としている。 視覚的推論を厳密に評価するために,探索課題が固定されている反ファクトグラフを提案するが,その基礎となるチャートと対応する回答は様々である。 グラフを実行可能なコードにリバースエンジニアリングするフレームワークであるChartographerを導入し、再現性を検証するとともに、シード制御された逆ファクトの変種を生成し、実行可能なQA論理から新たな回答を導き出す。 このフレームワークを既存のグラフQAデータセットに適用し、独自のビジョン言語モデル(VLM)を評価し、変動感度と一般化可能性を測定する。 VLMは元のチャートに正しく答えた後、しばしば一般化に失敗する。 更新されたチャートが新しい視覚的推論経路を必要とする場合、障害が最も多いことが分かります。

関連論文リスト

• ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation [51.49421299447412]
  マルチモーダルな大言語モデル(MLLM)は、データテーブルからのチャート生成を自動化するためにますます使われている。 ChartAttackは,MLLMを誤用して大規模にミスリードチャートを生成する方法を評価するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-19T11:57:48Z)
• RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
  RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。 実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
  論文  参考訳（メタデータ） (2025-03-29T15:50:08Z)
• VProChart: Answering Chart Question through Visual Perception Alignment Agent and Programmatic Solution Reasoning [13.011899331656018]
  VProChartは、CQA(Chart Question Answering)の課題に対処するために設計された新しいフレームワークである。 軽量な視覚知覚アライメントエージェント(VPAgent)と,プログラム型ソリューション推論アプローチを統合している。 VProChartは既存のメソッドよりも優れており、チャートによる理解と推論の能力を強調している。
  論文  参考訳（メタデータ） (2024-09-03T07:19:49Z)
• ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild [28.643565008567172]
  本稿では,PaliGemma上で開発された新しいチャート理解と推論モデルであるChartGemmaを紹介する。 基礎となるデータテーブルに頼るのではなく、ChartGemmaは、チャートイメージから直接生成されたインストラクションチューニングデータに基づいて訓練される。 我々の単純なアプローチは、チャートの要約、質問応答、ファクトチェックにまたがる5ドルのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-07-04T22:16:40Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)
• RealCQA: Scientific Chart Question Answering as a Test-bed for First-Order Logic [8.155575318208628]
  実世界のグラフ上での視覚的QAのグラフ化のためのベンチマークとデータセットを提案する。 私たちのコントリビューションには、ランク付けと非ランク付けの両方のバリエーションを備えた、新しい回答タイプである'list'の導入が含まれています。 実世界のアウト・オブ・ディストリビューション・データセットを用いて行った実験の結果,大規模事前学習モデルのロバストな評価が得られた。
  論文  参考訳（メタデータ） (2023-08-03T18:21:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。