論文の概要: OneChart: Purify the Chart Structural Extraction via One Auxiliary Token
- arxiv url: http://arxiv.org/abs/2404.09987v2
- Date: Thu, 25 Apr 2024 06:31:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 20:28:54.233890
- Title: OneChart: Purify the Chart Structural Extraction via One Auxiliary Token
- Title(参考訳): OneChart: 1つの補助トークンによるチャート構造抽出
- Authors: Jinyue Chen, Lingyu Kong, Haoran Wei, Chenglong Liu, Zheng Ge, Liang Zhao, Jianjian Sun, Chunrui Han, Xiangyu Zhang,
- Abstract要約: OneChartは、チャート情報の構造抽出のために特別に考案された信頼できるエージェントである。
合計トークンの先頭に配置された補助トークンと追加のデコーダを導入する。
補助トークンを用いて,グラフ解析結果の信頼性を評価する自己評価機構を考案した。
- 参考スコア(独自算出の注目度): 23.271325787765875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chart parsing poses a significant challenge due to the diversity of styles, values, texts, and so forth. Even advanced large vision-language models (LVLMs) with billions of parameters struggle to handle such tasks satisfactorily. To address this, we propose OneChart: a reliable agent specifically devised for the structural extraction of chart information. Similar to popular LVLMs, OneChart incorporates an autoregressive main body. Uniquely, to enhance the reliability of the numerical parts of the output, we introduce an auxiliary token placed at the beginning of the total tokens along with an additional decoder. The numerically optimized (auxiliary) token allows subsequent tokens for chart parsing to capture enhanced numerical features through causal attention. Furthermore, with the aid of the auxiliary token, we have devised a self-evaluation mechanism that enables the model to gauge the reliability of its chart parsing results by providing confidence scores for the generated content. Compared to current state-of-the-art (SOTA) chart parsing models, e.g., DePlot, ChartVLM, ChartAst, OneChart significantly outperforms in Average Precision (AP) for chart structural extraction across multiple public benchmarks, despite enjoying only 0.2 billion parameters. Moreover, as a chart parsing agent, it also brings 10%+ accuracy gains for the popular LVLM (LLaVA-1.6) in the downstream ChartQA benchmark.
- Abstract(参考訳): チャート解析は、スタイル、価値、テキストなどの多様性のために大きな課題となる。
数十億のパラメータを持つ先進的な大規模視覚言語モデル(LVLM)でさえ、そのようなタスクを満足して処理するのに苦労する。
そこで我々は,チャート情報の構造抽出に特化して考案された信頼性エージェントであるOneChartを提案する。
一般的なLVLMと同様に、OneChartは自己回帰的な本体を組み込んでいる。
出力の数値的な部分の信頼性を高めるために,全トークンの先頭に配置された補助トークンと追加のデコーダを導入する。
数値的に最適化された(補助的な)トークンは、後続のグラフ解析用のトークンが因果的注意を通して強化された数値的特徴をキャプチャすることを可能にする。
さらに、補助トークンの活用により、生成したコンテンツに対する信頼スコアを提供することで、チャート解析結果の信頼性を評価できる自己評価機構を考案した。
現在の最先端(SOTA)チャートパーシングモデル(例えば、DePlot、ChartVLM、ChartAst、OneChart)と比較すると、0.2億のパラメータしか楽しんでいないにもかかわらず、複数の公開ベンチマークでチャート構造抽出を行うのに、平均精度(AP)ではかなり優れています。
さらに、チャート解析エージェントとして、下流のChartQAベンチマークで人気のLVLM(LLaVA-1.6)に対して10%以上の精度向上をもたらす。
関連論文リスト
- ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for
Complicated Chart Reasoning [56.4579228575522]
我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。
ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。
我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
論文 参考訳(メタデータ) (2024-02-19T14:48:23Z) - ChartAssisstant: A Universal Chart Multimodal Language Model via
Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。
2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。
実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
論文 参考訳(メタデータ) (2024-01-04T17:51:48Z) - ChartBench: A Benchmark for Complex Visual Reasoning in Charts [38.66840297139763]
複雑な視覚的推論によってMLLMのチャート理解とデータの信頼性を評価するためにChartBenchを提案する。
ChartBenchは、42のカテゴリ、2.1Kのチャート、16.8Kの質問応答ペアを含む幅広いスペクトルを含んでいる。
また、労働集約的な手作業を必要とせずにMLLMの評価を容易にする拡張評価指標であるAcc+を提案する。
論文 参考訳(メタデータ) (2023-12-26T07:20:55Z) - ChartLlama: A Multimodal LLM for Chart Understanding and Generation [70.1393163657813]
GPT-4を利用した高品質な命令チューニングデータセットを作成する。
次に、生成したデータセットを使ってトレーニングしたマルチモーダルな大規模言語モデルであるChartLlamaを紹介します。
論文 参考訳(メタデータ) (2023-11-27T15:20:23Z) - StructChart: Perception, Structuring, Reasoning for Visual Chart
Understanding [58.38480335579541]
現在のチャート関連タスクは、視覚チャートから情報を抽出することを参照するチャート認識か、抽出されたデータから推論を行うかに焦点を当てている。
本稿では,共同認識と推論タスクのための統一的でラベル効率のよい学習パラダイムを確立することを目的とする。
各種のチャート関連タスクで実験を行い、統合されたチャート認識推論パラダイムの有効性と有望な可能性を実証した。
論文 参考訳(メタデータ) (2023-09-20T12:51:13Z) - Enhanced Chart Understanding in Vision and Language Task via Cross-modal
Pre-training on Plot Table Pairs [71.55796212450055]
本稿では、プロットテーブルペア上でのクロスモーダル事前学習を通じて、チャート画像からテーブル情報を解釈する方法を学ぶV+LモデルであるChartT5を紹介する。
具体的には,MHP(Masked Header Prediction)とMVP(Masked Value Prediction)の2つの新しい事前学習目標を提案する。
論文 参考訳(メタデータ) (2023-05-29T22:29:03Z) - ChartReader: A Unified Framework for Chart Derendering and Comprehension
without Heuristic Rules [89.75395046894809]
ChartReaderは、チャートのデレンダリングと理解タスクをシームレスに統合する統合フレームワークです。
提案手法には,トランスフォーマーに基づくチャートコンポーネント検出モジュールと,チャートからXまでのタスクに対する事前学習型視覚言語モデルが組み込まれている。
提案するフレームワークは,チャート解析に係わる作業を大幅に削減し,ユニバーサルチャート理解モデルへの一歩を踏み出すことができる。
論文 参考訳(メタデータ) (2023-04-05T00:25:27Z) - Tensor Fields for Data Extraction from Chart Images: Bar Charts and
Scatter Plots [0.0]
自動チャート読み込みは、データ抽出とグラフ画像からのデータのコンテキスト理解を含む。
適切なテンソル場をモデルとして同定し,その縮退点抽出をグラフ画像からのデータ抽出に用いる手法を提案する。
その結果, テンソル投票はバーチャートや散布図, ヒストグラムからのデータ抽出に有効であることが示唆された。
論文 参考訳(メタデータ) (2020-10-05T20:19:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。