論文の概要: ChartProbe: A Diagnostic Study on Visual Reasoning through Perception, Grounding, and Simple Reasoning
- arxiv url: http://arxiv.org/abs/2608.13766v1
- Date: Thu, 13 Aug 2026 20:44:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.210271
- Title: ChartProbe: A Diagnostic Study on Visual Reasoning through Perception, Grounding, and Simple Reasoning
- Title（参考訳）: ChartProbe:知覚・接地・簡易推論による視覚的推論の診断的研究
- Abstract要約: 視覚言語モデル(VLM)は、視覚量に対する推論を必要とするチャートの質問に対して信頼性が低いままである。
推論自体が難しいのか、それとも推論が行うより単純なスキルなのかを問う。
textbfChartProbeは,各チャートを描画するコードから直接プローブを生成する診断フレームワークである。
- 参考スコア（独自算出の注目度）: 4.891649865325986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) remain unreliable on chart questions that require reasoning over visual quantities, and this weakness is usually attributed to a reasoning deficit and addressed with more reasoning supervision. We ask whether the difficulty lies in reasoning itself, or in the simpler skills that reasoning operates on: reading the plotted elements (\emph{perception}), locating them and binding them to their labels (\emph{grounding}), and performing single-step computations such as ranking, totals, and differences (\emph{simple reasoning}). We introduce \textbf{ChartProbe}, a diagnostic framework whose probes are generated directly from the code that renders each chart, so every gold answer is exact by construction, needs no human annotation, and attributes each failure to a single skill. ChartProbe enables an intervention prior work does not attempt: instead of synthesizing complex-reasoning data, we withhold complex questions and reasoning traces entirely, fine-tune on one simple skill at a time, and measure transfer to held-out complex-reasoning questions. Across three open-weight VLMs, supervising the simpler skills alone produces large gains on complex-reasoning questions the model never trained on: where these skills are weak and the model can be taught to read the image, training them recovers much of complex reasoning at no reasoning-data cost. The gains hold across three out-of-distribution settings: an unseen chart type (pie charts), a human-written benchmark disjoint from our images and templates (ChartQA), and a non-chart visual domain (CLEVR). Complex visual reasoning can therefore improve without complex-reasoning supervision.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚量に対する推論を必要とするチャートの質問には信頼性が保たれず、この弱点は通常、推論不足に起因するものであり、より推論の監督によって対処される。
我々は、推論自体の難しさや、推論が持つより単純なスキル、すなわち、プロットされた要素を読み出し(\emph{perception})、それらの要素をラベルに固定し(\emph{grounding})、ランキング、トータル、差分などのシングルステップの計算を行う(\emph{simple reasoning})。
グラフを描画するコードから直接プローブを生成する診断フレームワークである \textbf{ChartProbe} を紹介する。
ChartProbeは、複雑な推論データを合成する代わりに、複雑な質問と推論トレースを完全に保持し、一度に1つの単純なスキルで微調整し、保持された複雑な推論データへの転送を測定します。
3つのオープンウェイトなVLM全体において、単純なスキルを監督するだけで、モデルはトレーニングされていない複雑な推論の質問に対して大きな利益をもたらす。
チャートタイプ(ピーチャート)、画像とテンプレート(ChartQA)からの人書きのベンチマーク(ChartQA)、非チャートビジュアルドメイン(CLEVR)である。
したがって、複雑な視覚的推論は、複雑な推論の監督なしに改善できる。
関連論文リスト
- CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning [58.582602613053204]
チャート質問応答 (CQA) は、視覚的理解と論理的推論を統合するために、マルチモーダルな大言語モデル (MLLM) を必要とする。
現在のMLLMには固有の視覚的根拠に基づく推論能力がなく、不正確な認識と視覚的証拠から切り離された推論をもたらす。
CQAを多段階の視覚的基盤的推論として再構成することにより、固有の視覚的推論機能を開発するカリキュラム学習フレームワークCURVを提案する。
論文 参考訳（メタデータ） (2026-08-03T19:48:00Z) - Visual Graph Scaffolds for Structural Reasoning in Large Language Models [49.507575509154385]
グラフは、大きな言語モデル(LLM)を強化するために使われてきた。
本稿では, LLM のグラフの値は情報提供だけでなく, 組織的推論にも当てはまる。
人間はグラフ構造化マインドマップを使って、枝分かれや収束する思考を整理し、グラフが推論支援の内的形態として機能するかどうかを問う。
論文 参考訳（メタデータ） (2026-06-01T12:17:52Z) - DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams [54.39165467997251]
ダイアグラムにおけるエビデンスグラウンドの視覚的推論を評価するためのベンチマークであるDRAGONを紹介する。
ダイアグラム、質問、そして正しい答えが与えられた場合、モデルは答えを正当化するために必要な視覚的要素に対応する境界ボックスを予測する必要がある。
DRAGONデータセットには、6つの図QAデータセットから収集された11,664の注釈付き質問インスタンスが含まれている。
論文 参考訳（メタデータ） (2026-04-28T05:24:05Z) - ChartVerse: Scaling Chart Reasoning via Reliable Programmatic Synthesis from Scratch [57.01439313241121]
グラフの複雑さを定量化する新しい指標であるRollout Posterior Entropy(RPE)を紹介する。
また、推論厳密性を保証するために、真正対応の逆QA合成を開発する。
さらに, モデルフェールレートに基づく試料をろ過し, 高品質なCoT (Chain-of-Thought) 推算を行った。
論文 参考訳（メタデータ） (2026-01-20T05:11:44Z) - Visual Programmability: A Guide for Code-as-Thought in Chart Understanding [37.44645754630439]
検証可能なシンボリックフォーマットでチャートの視覚情報を表現するためのCode-as-Thought(CaT)アプローチを提案する。
ビジュアルプログラマビリティ(Visual Programmability)は、チャート検索ペアがコードや直接視覚分析でよりよく解けるかどうかを判断する学習可能なプロパティである。
我々はこの概念を,視覚言語モデル(VLM)がCaT経路と直接視覚推論経路のどちらを選択するかを学習する適応的なフレームワークで実装する。
論文 参考訳（メタデータ） (2025-09-11T09:22:16Z) - RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。
実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
論文 参考訳（メタデータ） (2025-03-29T15:50:08Z) - VProChart: Answering Chart Question through Visual Perception Alignment Agent and Programmatic Solution Reasoning [13.011899331656018]
VProChartは、CQA(Chart Question Answering)の課題に対処するために設計された新しいフレームワークである。
軽量な視覚知覚アライメントエージェント(VPAgent)と,プログラム型ソリューション推論アプローチを統合している。
VProChartは既存のメソッドよりも優れており、チャートによる理解と推論の能力を強調している。
論文 参考訳（メタデータ） (2024-09-03T07:19:49Z) - AltChart: Enhancing VLM-based Chart Summarization Through Multi-Pretext Tasks [31.414783623207477]
本稿では,AltChartデータセットについて紹介する。
本稿では,視覚言語モデル(VLM)を事前学習し,詳細なチャート表現を学習する手法を提案する。
我々は,4つの主要なチャート要約モデルの広範囲な評価を行い,それらの記述がどの程度アクセス可能かを分析した。
論文 参考訳（メタデータ） (2024-05-22T12:18:52Z) - CLEAR: Generative Counterfactual Explanations on Graphs [60.30009215290265]
グラフ上での対実的説明生成の問題について検討する。
グラフに関する反実的な説明を調査する研究はいくつかあるが、この問題の多くの課題はまだ十分に適応されていない。
本稿では,グラフレベルの予測モデルに対して,グラフ上の反実的説明を生成するための新しいフレームワークCLEARを提案する。
論文 参考訳（メタデータ） (2022-10-16T04:35:32Z) - OpenCQA: Open-ended Question Answering with Charts [6.7038829115674945]
我々はOpenCQAと呼ばれる新しいタスクを導入し、そこではグラフに関するオープンな質問にテキストで答えることが目的である。
3つの実践的な設定の下で,一連のベースラインを実装し,評価する。
結果から,トップパフォーマンスモデルは通常,流動的かつコヒーレントなテキストを生成することが示された。
論文 参考訳（メタデータ） (2022-10-12T23:37:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。