論文の概要: Do you "see" what I "see"? A Multi-panel Visual Question Answer Dataset for Large Language Model Chart Analysis

• arxiv url: http://arxiv.org/abs/2610.14173v1
• Date: Fri, 09 Oct 2026 18:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.017927
• Title: Do you "see" what I "see"? A Multi-panel Visual Question Answer Dataset for Large Language Model Chart Analysis
• Title（参考訳）: ご覧いただけますか? 大規模言語モデルチャート解析のためのマルチパネルビジュアル質問回答データセット
• Abstract要約: 大規模言語とマルチモーダルモデル (LLMs/LMMs) は、多くの数値解析タスクを自動化できる。 これらのモデルが、人工的だが現実的な科学的数値で表された場合、タスク指向の視覚データ分析を確実に支援できるかどうか検討する。
• 参考スコア（独自算出の注目度）: 3.079885946230075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Digital libraries increasingly host scientific publications whose figures encode primary research findings, yet making this visual content searchable, accessible, and reusable remains an open challenge. Large language and multimodal models (LLMs/LMMs) provide the possibility to automate many figure parsing tasks such as determining data trends or extracting data from plots. In this work, we consider if these models can reliably support task-oriented visual data analysis when presented with synthetic, but realistic, scientific figures that contain multiple charts. Our Visual Question Answering (VQA) process scaffolds our tasks along a four-level description model from basic conceptual answers to interpretive and analytical understanding. Additionally, we outline our process for synthetically generating our single and multi-panel (charts in which there are multiple panels present) plots and testing the data with various LMMs using quantitative analysis. In general, we find LMMs become less accurate with increasing figure complexity as the number of panels, number of plot elements, and difficulty of questions increase. Finally, because LMM accuracy is expected to change rapidly, our analysis also considers cost relative to performance as a metric to inform future user decisions. We provide the detailed question-answer pairs used in this analysis, along with the code used to generate random plots, question-answer pairs and detailed bounding-box metadata for chart elements. The code and data are available at https://github.com/ReadingTimeMachine/LLM_VQA_MultiPanel and https://huggingface.co/datasets/ReadingTimeMachine/visual\_qa\_multipanel
• Abstract（参考訳）: デジタル図書館は、主要な研究成果をエンコードした科学出版物をますますホストしているが、この視覚的コンテンツを検索可能で、アクセス可能で、再利用可能なものにすることは、未解決の課題である。 大規模言語とマルチモーダルモデル(LLMs/LMMs)は、データトレンドの決定やプロットからのデータの抽出など、多くの数値解析タスクを自動化することができる。 本研究では、これらのモデルが、複数のチャートを含む合成だが現実的な科学的数値を提示した場合、タスク指向の視覚データ分析を確実に支援できるかどうかを検討する。 VQA(Visual Question Answering)プロセスは、基本的な概念的回答から解釈的および分析的理解に至るまで、タスクを4段階の記述モデルに沿って足場化します。 さらに,マルチパネル(複数パネルが存在するチャート)のプロットを合成的に生成し,定量分析を用いて様々なLMMを用いてデータをテストするプロセスについて概説する。 一般に,パネル数,プロット要素数,質問の難易度が増加するにつれて,LMMの精度は低下する。 最後に,LMMの精度は急速に変化することが期待されているため,今後のユーザ決定の指標として,性能に対するコストを考慮に入れている。 この分析で使用される詳細な問合せペアと、ランダムプロットを生成するコード、質問問合せペア、チャート要素の詳細なバウンディングボックスメタデータを提供する。 コードとデータはhttps://github.com/ReadingTimeMachine/LLM_VQA_MultiPanelとhttps://huggingface.co/datasets/ReadingTimeMachine/visual\_qa\_multipanelで入手できる。

関連論文リスト

• What Lies Beneath: A Call for Distribution-based Visual Question & Answer Datasets [3.1351527202068445]
  グラフマークと基礎データとの間に1対1の対応が存在しない科学チャート用の専用VQAベンチマークを議論する。 我々は,地上の真実データに基づいて合成ヒストグラムチャートを作成し,人間と大規模推論モデルの両方に,基礎となるデータへのアクセスに依存する正確な回答を問う。 我々は、フィギュア、基礎となるデータ、データを生成するために使用される分散パラメータ、将来の研究のためにすべてのフィギュアマークとテキストのバウンディングボックスを含む、オープンソースのデータセットをリリースする。
  論文  参考訳（メタデータ） (2026-01-29T19:00:01Z)
• ChartM$^3$: Benchmarking Chart Editing with Multimodal Instructions [65.21061221740388]
  本稿では,ユーザ意図を自然言語と視覚指標の組み合わせで表現する,マルチモーダルチャート編集のための新しいパラダイムを提案する。 マルチモードチャート編集のための新しいベンチマークであるChart$textM3$を,マルチレベル複雑度とマルチパースペクティブ評価で提示する。
  論文  参考訳（メタデータ） (2025-07-25T13:30:14Z)
• Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images [59.431316122240524]
  我々は,Multimodal LLMを用いて,数千万枚の画像からなる大規模データベースを解析するシステムを提案する。 我々は,一定期間にわたって都市を横断する頻繁な共起的変化(トリエント)を捉えることを目的としている。 ベースラインをはるかに上回り、大都市で撮影された画像から興味深い傾向を見出すことができる。
  論文  参考訳（メタデータ） (2025-04-11T17:55:45Z)
• Distill Visual Chart Reasoning Ability from LLMs to MLLMs [64.32993770646165]
  マルチモーダル大言語モデル(MLLM)における複雑なチャートQ&Aタスクの解決には高度な視覚的推論能力が必要である 我々は,LLMからMLLMへの視覚的推論能力を蒸留するための費用効率,効率,スケーラブルなデータ合成手法であるCode-as-Intermediary Translation (CIT)を提案する。 ReachQAは、MLLMの認識と推論能力を高めるために、3kの推論集約チャートと20kのQ&Aペアを含むデータセットである。
  論文  参考訳（メタデータ） (2024-10-24T14:50:42Z)
• MultiChartQA: Benchmarking Vision-Language Models on Multi-Chart Problems [18.188725200923333]
  チャート関連タスクの既存のベンチマークは、実世界のマルチチャートシナリオの複雑さを捉えるのに不足している。 直接質問応答,並列質問応答,比較推論,シーケンシャル推論の4つの重要な領域でMLLMの能力を評価するベンチマークであるMultiChartQAを紹介する。 本研究は,マルチチャート理解の課題と,この分野での進歩を促進するためのマルチチャートQAの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-10-18T05:15:50Z)
• Synthesize Step-by-Step: Tools, Templates and LLMs as Data Generators for Reasoning-Based Chart VQA [9.659820850719413]
  我々は,推論能力の強い大規模言語モデル(LLM)を自動データアノテータとして活用する。 私たちの方法における重要な革新は、Synthesize Step-by-Step戦略にあります。 我々は、チャートVQAモデルを大幅に強化し、ChartQAおよびPlotQAデータセットの最先端の精度を達成する。
  論文  参考訳（メタデータ） (2024-03-25T03:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。