論文の概要: Self-Ensembling Vision-Language Models for Chart Data Extraction

• arxiv url: http://arxiv.org/abs/2605.27298v1
• Date: Tue, 26 May 2026 17:10:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.483259
• Title: Self-Ensembling Vision-Language Models for Chart Data Extraction
• Title（参考訳）: グラフデータ抽出のための自己組み立て型視覚言語モデル
• Abstract要約: 手動でチャートをデジタル化することは、時間とエラーを起こし、自動チャートからテーブルへの抽出を動機付けます。 近年のアプローチでは、特殊視覚言語モデル(VLM)が採用されているが、多くのデータポイントや相当なスタイリスティックなバリエーションを持つチャートでは、まだパフォーマンスが遅れている。 固定チャート画像に対して同一のVLMから複数の出力を繰り返しサンプリングし,個々のテーブルセルのレベルで集約するVLM自己組織化手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Charts effectively convey quantitative information, but the underlying data are often locked in image form, hindering reuse and analysis. Manually digitizing charts is time-consuming and error-prone, motivating automatic chart-to-table extraction. Recent approaches use specialized vision-language models (VLMs), yet performance still lags on charts with many datapoints or substantial stylistic variation. We propose a VLM self-ensembling method that repeatedly samples multiple tabular outputs from the same VLM for a fixed chart image and aggregates them at the level of individual table cells. We align candidate tables and take per-cell medians over numerical values to produce a more accurate consensus table. Our method also includes convergence detection to stop sampling once the aggregated table stabilizes, and uncertainty estimation based on dispersion across samples to help users assess extraction reliability. Because existing chart extraction benchmarks contain relatively simple plots with limited room for improvement, we introduce WB-ChartExtract, a new benchmark built from World Bank data with more complex and stylistically diverse charts; on average, its charts contain 7 times more datapoints than those in the ChartQA benchmark. Across both ChartQA and WB-ChartExtract, our approach improves extraction accuracy over single-pass VLM outputs, yielding up to 23% relative improvement on WB-ChartExtract after ensembling. More broadly, our method helps unlock tabular data previously siloed in chart images, enabling downstream analysis and reuse.
• Abstract（参考訳）: チャートは定量的な情報を効果的に伝達するが、基礎となるデータはしばしば画像形式でロックされ、再利用と分析を妨げる。 手動でグラフをデジタイズすることは、時間とエラーを起こし、自動チャートからテーブルへの抽出を動機付けている。 近年のアプローチでは、特殊視覚言語モデル(VLM)が採用されているが、多くのデータポイントや相当なスタイリスティックなバリエーションを持つチャートでは、まだパフォーマンスが遅れている。 固定されたチャート画像に対して,同じVLMから複数の表出力を繰り返しサンプリングし,個々のテーブルセルのレベルで集約するVLM自己組織化手法を提案する。 我々は、より正確なコンセンサステーブルを生成するために、候補テーブルをアライメントし、セルごとの中央値を取る。 また,集約テーブルが安定するとサンプリングを停止する収束検出や,サンプル間の分散に基づく不確実性推定も含み,抽出信頼性の評価に役立てる。 既存のチャート抽出ベンチマークには、改善の余地が限られている比較的単純なプロットが含まれているため、WB-ChartExtractというWB-ChartExtractという、より複雑でスタイリスティックに多彩なチャートを持つ新しいベンチマークを導入する。 また,ChartQAとWB-ChartExtractのいずれにおいても,シングルパスVLM出力よりも抽出精度が向上し,アンサンブル後のWB-ChartExtractに対して最大23%の改善が得られた。 より広範に、我々の手法は以前チャート画像にサイロ化されていた表データのアンロックに役立ち、下流の分析と再利用を可能にした。

関連論文リスト

• What You See Is What You Get: Observation-Aligned Supervision for Chart-to-Code Generation [50.62320148925983]
  多くのチャートプログラムは、レンダリングされた画像から一意に回収できない潜在生変数を含む。 本稿では,潜伏する生データターゲットを視覚的観察に制約された量で置き換えるリライトフレームワークであるオブザーバ・アラインド・インフォメーションを導入する。 この結果から,チャート・トゥ・コードモデルの改善には,データや高度な学習目的やアルゴリズムだけでなく,チャート画像から識別可能なものを尊重する監視対象も必要であることが示唆された。
  論文  参考訳（メタデータ） (2026-07-06T06:53:40Z)
• Making Multimodal LLMs Reliable Chart Data Extractors: A Benchmark and Training Framework [27.45365558629541]
  既存のインタラクティブツールは信頼性があるが面倒であり、混合開始型システムであるが、より効率的であり、一般化性に欠ける。 最近の大規模言語モデル(MLLM)は、チャート解釈のための統一されたインタフェースを提供するが、正確なデータテーブルを抽出する能力は、特に可視ラベルなしでは、まだ不明である。 データラベルを使わずに、さまざまな実世界のチャートを特徴とするベンチマークを構築し、その能力を評価する。 その結果、現在のMLLMはテーブル構造を確実に再構築する一方で、正確な値回復に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2026-06-29T05:40:35Z)
• ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation [51.49421299447412]
  マルチモーダルな大言語モデル(MLLM)は、データテーブルからのチャート生成を自動化するためにますます使われている。 ChartAttackは,MLLMを誤用して大規模にミスリードチャートを生成する方法を評価するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-19T11:57:48Z)
• ChartPoint: Guiding MLLMs with Grounding Reflection for Chart Reasoning [54.86473583610112]
  グラフの連鎖推論に反射的相互作用を統合するPointCoTを提案する。 位置アノテーションに基づいてMLLMにバウンディングボックスと再レンダリングチャートを生成することで、テキスト推論ステップと視覚的接地領域の接続を確立する。 我々は、いくつかのグラフベンチマークにおいて最先端のモデルであるChartPointQ2とChartPointQ2.5を開発した。
  論文  参考訳（メタデータ） (2025-11-29T04:01:55Z)
• BigCharts-R1: Enhanced Chart Reasoning with Visual Reinforcement Finetuning [51.472854950300416]
  視覚的に多様なチャート画像を生成するデータセット生成パイプラインであるBigChartsを提案する。 純粋な合成データセットとは異なり、BigChartsは現実世界のデータを取り込んで、信頼性と視覚的多様性を保証する。 チャート推論に特化して設計された新たな報酬信号を導入することにより,モデルの堅牢性と一般化が促進される。
  論文  参考訳（メタデータ） (2025-08-13T13:39:17Z)
• End-to-End Chart Summarization via Visual Chain-of-Thought in Vision-Language Models [0.0]
  本稿では,チャート要約のためのEnd-to-End Visual Chain-of-Thought (V-CoT)を提案する。 本手法では,LVLMを直接トレーニングして,チャート画像の処理とテキスト要約をエンドツーエンドで生成する。 我々は、視覚的推論ステップを実行するためにLVLMを暗黙的に誘導する、微調整による視覚的連鎖機構を組み込んだ。
  論文  参考訳（メタデータ） (2025-02-24T19:13:45Z)
• OneChart: Purify the Chart Structural Extraction via One Auxiliary Token [23.271325787765875]
  OneChartは、チャート情報の構造抽出のために特別に考案された信頼できるエージェントである。 合計トークンの先頭に配置された補助トークンと追加のデコーダを導入する。 補助トークンを用いて,グラフ解析結果の信頼性を評価する自己評価機構を考案した。
  論文  参考訳（メタデータ） (2024-04-15T17:58:57Z)
• ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning [55.22996841790139]
  我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。 ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。 我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
  論文  参考訳（メタデータ） (2024-02-19T14:48:23Z)
• ChartReader: A Unified Framework for Chart Derendering and Comprehension without Heuristic Rules [89.75395046894809]
  ChartReaderは、チャートのデレンダリングと理解タスクをシームレスに統合する統合フレームワークです。 提案手法には,トランスフォーマーに基づくチャートコンポーネント検出モジュールと,チャートからXまでのタスクに対する事前学習型視覚言語モデルが組み込まれている。 提案するフレームワークは,チャート解析に係わる作業を大幅に削減し,ユニバーサルチャート理解モデルへの一歩を踏み出すことができる。
  論文  参考訳（メタデータ） (2023-04-05T00:25:27Z)
• Tensor Fields for Data Extraction from Chart Images: Bar Charts and Scatter Plots [0.0]
  自動チャート読み込みは、データ抽出とグラフ画像からのデータのコンテキスト理解を含む。 適切なテンソル場をモデルとして同定し,その縮退点抽出をグラフ画像からのデータ抽出に用いる手法を提案する。 その結果, テンソル投票はバーチャートや散布図, ヒストグラムからのデータ抽出に有効であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-05T20:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。