論文の概要: RealCQA: Scientific Chart Question Answering as a Test-bed for First-Order Logic

• arxiv url: http://arxiv.org/abs/2308.01979v1
• Date: Thu, 3 Aug 2023 18:21:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 14:50:52.268189
• Title: RealCQA: Scientific Chart Question Answering as a Test-bed for First-Order Logic
• Title（参考訳）: RealCQA: 第一級論理のためのテストベッドとしての科学チャート質問
• Authors: Saleem Ahmed, Bhavin Jawade, Shubham Pandey, Srirangaraj Setlur, Venu Govindaraju
• Abstract要約: 実世界のグラフ上での視覚的QAのグラフ化のためのベンチマークとデータセットを提案する。 私たちのコントリビューションには、ランク付けと非ランク付けの両方のバリエーションを備えた、新しい回答タイプである'list'の導入が含まれています。 実世界のアウト・オブ・ディストリビューション・データセットを用いて行った実験の結果,大規模事前学習モデルのロバストな評価が得られた。
• 参考スコア（独自算出の注目度）: 8.155575318208628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a comprehensive study of chart visual question-answering(QA) task, to address the challenges faced in comprehending and extracting data from chart visualizations within documents. Despite efforts to tackle this problem using synthetic charts, solutions are limited by the shortage of annotated real-world data. To fill this gap, we introduce a benchmark and dataset for chart visual QA on real-world charts, offering a systematic analysis of the task and a novel taxonomy for template-based chart question creation. Our contribution includes the introduction of a new answer type, 'list', with both ranked and unranked variations. Our study is conducted on a real-world chart dataset from scientific literature, showcasing higher visual complexity compared to other works. Our focus is on template-based QA and how it can serve as a standard for evaluating the first-order logic capabilities of models. The results of our experiments, conducted on a real-world out-of-distribution dataset, provide a robust evaluation of large-scale pre-trained models and advance the field of chart visual QA and formal logic verification for neural networks in general.
• Abstract（参考訳）: 本稿では,文書内のグラフ視覚化からデータの理解と抽出に直面する課題に対処するため,グラフ視覚質問応答(QA)タスクの総合的研究を行う。 合成チャートを用いてこの問題に対処する努力にもかかわらず、実際の注釈付きデータの不足によりソリューションは制限される。 このギャップを埋めるために、実世界のチャート上での視覚的QAのベンチマークとデータセットを導入し、タスクの体系的分析とテンプレートベースのチャート質問作成のための新しい分類を提供する。 私たちのコントリビューションには、ランク付けと非ランク付けの両方のバリエーションを備えた新しい回答タイプである'list'の導入が含まれています。 本研究は,科学文献から得られた実世界のチャートデータセットを用いて,他の作品と比較して高い視覚的複雑さを示す。 当社の焦点は、テンプレートベースのqaと、モデルの一階述語論理能力を評価するための標準としての役割にあります。 本実験は,実世界の分散データセット上で実施し,大規模事前学習モデルのロバストな評価と,グラフビジュアルqaの分野の前進と,ニューラルネットワーク全般の形式的論理検証を提供する。

関連論文リスト

• RealCQA-V2 : Visual Premise Proving A Manual COT Dataset for Charts [2.9201864249313383]
  グラフ質問応答のプロセスを洗練するための新しいタスクであるVisual Premise Provingを紹介する。 この手法は従来の精度に基づく評価手法から逸脱したものである。 データ検索とグラフの構造的理解の両方に習熟性を示すモデルが提案される。
  論文  参考訳（メタデータ） (2024-10-29T19:32:53Z)
• VProChart: Answering Chart Question through Visual Perception Alignment Agent and Programmatic Solution Reasoning [13.011899331656018]
  VProChartは、CQA(Chart Question Answering)の課題に対処するために設計された新しいフレームワークである。 軽量な視覚知覚アライメントエージェント(VPAgent)と,プログラム型ソリューション推論アプローチを統合している。 VProChartは既存のメソッドよりも優れており、チャートによる理解と推論の能力を強調している。
  論文  参考訳（メタデータ） (2024-09-03T07:19:49Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild [28.643565008567172]
  本稿では,PaliGemma上で開発された新しいチャート理解と推論モデルであるChartGemmaを紹介する。 基礎となるデータテーブルに頼るのではなく、ChartGemmaは、チャートイメージから直接生成されたインストラクションチューニングデータに基づいて訓練される。 我々の単純なアプローチは、チャートの要約、質問応答、ファクトチェックにまたがる5ドルのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-07-04T22:16:40Z)
• CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
  CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。 品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。 その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-26T17:50:11Z)
• Enhancing Question Answering on Charts Through Effective Pre-training Tasks [26.571522748519584]
  グラフやプロットに適用した場合の現在のVisualQAモデルの制限に対処する。 以上の結果から,既存のモデルでは,図の構造的・視覚的文脈に関する疑問に答える上で,特に性能が低いことが示唆された。 本稿では,構造的・視覚的知識と数値的疑問の理解の両面から,既存のモデルを強制する3つの簡単な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2024-06-14T14:40:10Z)
• From Pixels to Insights: A Survey on Automatic Chart Understanding in the Era of Large Foundation Models [98.41645229835493]
  グラフ形式のデータの可視化は、データ分析において重要な役割を担い、重要な洞察を提供し、情報的な意思決定を支援する。 大規模言語モデルのような大規模な基盤モデルは、様々な自然言語処理タスクに革命をもたらした。 本研究は,自然言語処理,コンピュータビジョン,データ解析の分野における研究者や実践者の包括的資源として機能する。
  論文  参考訳（メタデータ） (2024-03-18T17:57:09Z)
• StructChart: Perception, Structuring, Reasoning for Visual Chart Understanding [58.38480335579541]
  現在のチャート関連タスクは、視覚チャートから情報を抽出することを参照するチャート認識か、抽出されたデータから推論を行うかに焦点を当てている。 本稿では,共同認識と推論タスクのための統一的でラベル効率のよい学習パラダイムを確立することを目的とする。 各種のチャート関連タスクで実験を行い、統合されたチャート認識推論パラダイムの有効性と有望な可能性を実証した。
  論文  参考訳（メタデータ） (2023-09-20T12:51:13Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• Question-Answer Sentence Graph for Joint Modeling Answer Selection [122.29142965960138]
  我々は,質問文,質問文,回答文のペア間のスコアを計算するための最先端(SOTA)モデルを訓練し,統合する。 オンライン推論は、目に見えないクエリのAS2タスクを解決するために実行される。
  論文  参考訳（メタデータ） (2022-02-16T05:59:53Z)
• Classification-Regression for Chart Comprehension [16.311371103939205]
  チャート質問応答(CQA)は、チャート理解を評価するために用いられるタスクである。 分類と回帰を共同で学習する新しいモデルを提案する。 私たちのモデルのエッジは、特に語彙外回答の質問に重点を置いています。
  論文  参考訳（メタデータ） (2021-11-29T18:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。