論文の概要: SynChart: Synthesizing Charts from Language Models

• arxiv url: http://arxiv.org/abs/2409.16517v1
• Date: Wed, 25 Sep 2024 00:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 06:06:51.291420
• Title: SynChart: Synthesizing Charts from Language Models
• Title（参考訳）: SynChart: 言語モデルからチャートを合成する
• Authors: Mengchen Liu, Qixiu Li, Dongdong Chen, Dong Chen, Jianmin Bao, Yunsheng Li,
• Abstract要約: 本研究は,LLMをデータ生成に単独で活用し,チャート理解に焦点をあてた競合するマルチモダリティモデルを開発する可能性を探る。 約400万の多彩なチャートイメージと7500万以上の高密度アノテーションを含む大規模チャートデータセットであるSynChartを構築した。 我々は,このデータセットを用いて4.2Bのグラフエキスパートモデルを訓練し,GPT-4Vを超え,ChartQAタスクでほぼGPT-4Oの性能を達成した。
• 参考スコア（独自算出の注目度）: 50.73888371511983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the release of GPT-4V(O), its use in generating pseudo labels for multi-modality tasks has gained significant popularity. However, it is still a secret how to build such advanced models from its base large language models (LLMs). This work explores the potential of using LLMs alone for data generation and develop competitive multi-modality models focusing on chart understanding. We construct a large-scale chart dataset, SynChart, which contains approximately 4 million diverse chart images with over 75 million dense annotations, including data tables, code, descriptions, and question-answer sets. We trained a 4.2B chart-expert model using this dataset and achieve near-GPT-4O performance on the ChartQA task, surpassing GPT-4V.
• Abstract（参考訳）: GPT-4V(O)のリリースにより、マルチモーダルタスクの擬似ラベル生成に使用されるようになった。 しかし、そのような高度なモデルをベースとなる大規模言語モデル(LLM)から構築する方法はまだ秘密である。 本研究は,LLMをデータ生成に単独で活用し,チャート理解に焦点をあてた競合するマルチモダリティモデルを開発する可能性を探る。 我々は、データテーブル、コード、記述、質問応答セットを含む7500万以上の高密度アノテーションを備えた、約400万の多様なチャート画像を含む大規模なチャートデータセット、SynChartを構築した。 我々は,このデータセットを用いて4.2Bのグラフエキスパートモデルを訓練し,GPT-4Vを超え,ChartQAタスクでほぼGPT-4Oの性能を達成した。

関連論文リスト

• Text2Chart31: Instruction Tuning for Chart Generation with Automatic Feedback [37.275533538711436]
  階層的なパイプラインとグラフ生成のための新しいデータセットを提案する。 私たちのデータセットであるText2Chart31には、Matplotlibライブラリを参照する31のユニークなプロットタイプが含まれています。 本稿では,人間からのフィードバックを必要とせず,グラフ生成タスクのための強化学習に基づく指導指導手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:25:56Z)
• ChartMoE: Mixture of Expert Connector for Advanced Chart Understanding [34.750274110196116]
  本稿では,従来の線形プロジェクタを置き換えるために,専門家(MoE)アーキテクチャの混合を用いたChartMoEを提案する。 具体的には、異なるアライメントタスクを通じて複数の線形コネクタを訓練する。 ChartMoE-Alignも導入しています。これは900K以上のチャートテーブル-JSON-コードの4倍数を持つデータセットで、3つのアライメントタスクを実行します。
  論文  参考訳（メタデータ） (2024-09-05T06:41:02Z)
• TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning [83.58521787193293]
  本稿では,3Bパラメータのみを用いたチャート理解のための効率的なMLLMであるTinyChartを提案する。 TinyChartは,1)プログラム・オブ・ソート(PoT)学習戦略による数値計算学習の負担軽減,2)ビジョン・トーケン・マージ・モジュールによる高解像度画像のためのビジョン・トランスフォーマーによって生成される長大な視覚特徴系列の削減という,効率的なチャート理解における2つの課題を克服した。
  論文  参考訳（メタデータ） (2024-04-25T14:23:24Z)
• ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning [54.82612435284695]
  我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。 ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。 我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
  論文  参考訳（メタデータ） (2024-02-19T14:48:23Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)
• ChartLlama: A Multimodal LLM for Chart Understanding and Generation [70.1393163657813]
  GPT-4を利用した高品質な命令チューニングデータセットを作成する。 次に、生成したデータセットを使ってトレーニングしたマルチモーダルな大規模言語モデルであるChartLlamaを紹介します。
  論文  参考訳（メタデータ） (2023-11-27T15:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。