論文の概要: Advancing Chart Question Answering with Robust Chart Component Recognition

• arxiv url: http://arxiv.org/abs/2407.21038v1
• Date: Fri, 19 Jul 2024 20:55:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 00:36:46.244861
• Title: Advancing Chart Question Answering with Robust Chart Component Recognition
• Title（参考訳）: ロバストチャート成分認識によるチャート質問応答の改善
• Authors: Hanwen Zheng, Sijia Wang, Chris Thomas, Lifu Huang,
• Abstract要約: 本稿では,バー,ライン,パイ,タイトル,伝説,軸といったコンポーネントを正確に識別し,分類することで,チャートコンポーネントの認識を強化する統一フレームワークを提案する。 また,Chartformerによって符号化されたチャート機能に与えられた質問を融合させ,正しい回答の根拠となる質問のガイダンスを活用する,新しい質問誘導型変形型コ・アテンション機構を提案する。
• 参考スコア（独自算出の注目度）: 18.207819321127182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chart comprehension presents significant challenges for machine learning models due to the diverse and intricate shapes of charts. Existing multimodal methods often overlook these visual features or fail to integrate them effectively for chart question answering (ChartQA). To address this, we introduce Chartformer, a unified framework that enhances chart component recognition by accurately identifying and classifying components such as bars, lines, pies, titles, legends, and axes. Additionally, we propose a novel Question-guided Deformable Co-Attention (QDCAt) mechanism, which fuses chart features encoded by Chartformer with the given question, leveraging the question's guidance to ground the correct answer. Extensive experiments demonstrate that the proposed approaches significantly outperform baseline models in chart component recognition and ChartQA tasks, achieving improvements of 3.2% in mAP and 15.4% in accuracy, respectively. These results underscore the robustness of our solution for detailed visual data interpretation across various applications.
• Abstract（参考訳）: チャート理解は、チャートの多様で複雑な形状のため、機械学習モデルに重大な課題をもたらす。 既存のマルチモーダル手法は、これらの視覚的特徴を見落としたり、チャート質問応答(ChartQA)に効果的に統合できない場合が多い。 そこで我々はChartformerを紹介した。これはチャートコンポーネントの認識を強化し、バー、ライン、パイ、タイトル、伝説、軸といったコンポーネントを正確に識別し分類することで、チャートコンポーネントの認識を強化する統合フレームワークである。 さらに,Chartformerによって符号化されたチャート特徴を与えられた質問と融合させる新しいQDCA(QDCAt)機構を提案する。 大規模な実験により、提案手法はチャートコンポーネント認識およびチャートQAタスクにおいて、それぞれ3.2%のmAPと15.4%の精度で改善された。 これらの結果は,様々なアプリケーションにまたがる詳細な視覚データ解釈のためのソリューションの頑健さを裏付けるものである。

関連論文リスト

• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• Enhancing Question Answering on Charts Through Effective Pre-training Tasks [26.571522748519584]
  グラフやプロットに適用した場合の現在のVisualQAモデルの制限に対処する。 以上の結果から,既存のモデルでは,図の構造的・視覚的文脈に関する疑問に答える上で,特に性能が低いことが示唆された。 本稿では,構造的・視覚的知識と数値的疑問の理解の両面から,既存のモデルを強制する3つの簡単な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2024-06-14T14:40:10Z)
• AltChart: Enhancing VLM-based Chart Summarization Through Multi-Pretext Tasks [31.414783623207477]
  本稿では,AltChartデータセットについて紹介する。 本稿では,視覚言語モデル(VLM)を事前学習し,詳細なチャート表現を学習する手法を提案する。 我々は,4つの主要なチャート要約モデルの広範囲な評価を行い,それらの記述がどの程度アクセス可能かを分析した。
  論文  参考訳（メタデータ） (2024-05-22T12:18:52Z)
• TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning [83.58521787193293]
  本稿では,3Bパラメータのみを用いたチャート理解のための効率的なMLLMであるTinyChartを提案する。 TinyChartは,1)プログラム・オブ・ソート(PoT)学習戦略による数値計算学習の負担軽減,2)ビジョン・トーケン・マージ・モジュールによる高解像度画像のためのビジョン・トランスフォーマーによって生成される長大な視覚特徴系列の削減という,効率的なチャート理解における2つの課題を克服した。
  論文  参考訳（メタデータ） (2024-04-25T14:23:24Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)
• StructChart: Perception, Structuring, Reasoning for Visual Chart Understanding [58.38480335579541]
  現在のチャート関連タスクは、視覚チャートから情報を抽出することを参照するチャート認識か、抽出されたデータから推論を行うかに焦点を当てている。 本稿では,共同認識と推論タスクのための統一的でラベル効率のよい学習パラダイムを確立することを目的とする。 各種のチャート関連タスクで実験を行い、統合されたチャート認識推論パラダイムの有効性と有望な可能性を実証した。
  論文  参考訳（メタデータ） (2023-09-20T12:51:13Z)
• Enhanced Chart Understanding in Vision and Language Task via Cross-modal Pre-training on Plot Table Pairs [71.55796212450055]
  本稿では、プロットテーブルペア上でのクロスモーダル事前学習を通じて、チャート画像からテーブル情報を解釈する方法を学ぶV+LモデルであるChartT5を紹介する。 具体的には,MHP(Masked Header Prediction)とMVP(Masked Value Prediction)の2つの新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2023-05-29T22:29:03Z)
• ChartReader: A Unified Framework for Chart Derendering and Comprehension without Heuristic Rules [89.75395046894809]
  ChartReaderは、チャートのデレンダリングと理解タスクをシームレスに統合する統合フレームワークです。 提案手法には,トランスフォーマーに基づくチャートコンポーネント検出モジュールと,チャートからXまでのタスクに対する事前学習型視覚言語モデルが組み込まれている。 提案するフレームワークは,チャート解析に係わる作業を大幅に削減し,ユニバーサルチャート理解モデルへの一歩を踏み出すことができる。
  論文  参考訳（メタデータ） (2023-04-05T00:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。