論文の概要: Reading and Reasoning over Chart Images for Evidence-based Automated Fact-Checking

• arxiv url: http://arxiv.org/abs/2301.11843v1
• Date: Fri, 27 Jan 2023 16:47:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 14:51:21.091837
• Title: Reading and Reasoning over Chart Images for Evidence-based Automated Fact-Checking
• Title（参考訳）: Evidence-based Fact-Checkingのためのチャート画像読解と推論
• Authors: Mubashara Akhtar, Oana Cocarascu, Elena Simperl
• Abstract要約: 本稿では,新しいタスク,チャートベースのファクトチェックを提案し,チャートエビデンスに対するAFCの最初のモデルとしてChartBERTを紹介する。 我々は75の異なる視覚言語(VL)ベースラインを評価し、ChartBERTがVLモデルを上回る性能を示し、63.8%の精度を実現した。
• 参考スコア（独自算出の注目度）: 4.452071540233674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evidence data for automated fact-checking (AFC) can be in multiple modalities such as text, tables, images, audio, or video. While there is increasing interest in using images for AFC, previous works mostly focus on detecting manipulated or fake images. We propose a novel task, chart-based fact-checking, and introduce ChartBERT as the first model for AFC against chart evidence. ChartBERT leverages textual, structural and visual information of charts to determine the veracity of textual claims. For evaluation, we create ChartFC, a new dataset of 15, 886 charts. We systematically evaluate 75 different vision-language (VL) baselines and show that ChartBERT outperforms VL models, achieving 63.8% accuracy. Our results suggest that the task is complex yet feasible, with many challenges ahead.
• Abstract（参考訳）: 自動ファクトチェック(AFC)のエビデンスデータは、テキスト、テーブル、画像、オーディオ、ビデオなど、複数のモードで記述することができる。 AFCには画像の使用に対する関心が高まっているが、以前の研究は主に操作された画像や偽画像の検出に焦点を当てていた。 本稿では,新しいタスク,チャートベースのファクトチェックを提案し,チャートエビデンスに対するAFCの最初のモデルとしてChartBERTを紹介する。 ChartBERTは、テキストクレームの正確性を決定するために、チャートのテキスト情報、構造情報、視覚情報を活用する。 評価のために、15,886グラフの新しいデータセットであるChartFCを作成します。 我々は75の異なる視覚言語(VL)ベースラインを体系的に評価し、ChartBERTがVLモデルより優れていることを示す。 我々の結果は、タスクは複雑だが実現可能であり、多くの課題があることを示唆している。

関連論文リスト

• Enhancing Financial VQA in Vision Language Models using Intermediate Structured Representations [1.770767758587368]
  本研究では,プロットやチャートの画像を線形化テーブルに変換するモダリティ変換モジュールであるDEPLOTの微調整について検討する。 データセットは、単純な、積み重ねられた、グループ化されたバーチャートで構成され、これらの視覚化のユニークな構造的特徴をターゲットにしている。 大規模言語モデル(LLM)の推論能力をさらに探求するため,質問応答セットと組み合わせた100のバーチャート画像の追加セットをキュレートする。
  論文  参考訳（メタデータ） (2025-01-08T18:33:17Z)
• ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning [54.82612435284695]
  我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。 ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。 我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
  論文  参考訳（メタデータ） (2024-02-19T14:48:23Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)
• ChartLlama: A Multimodal LLM for Chart Understanding and Generation [70.1393163657813]
  GPT-4を利用した高品質な命令チューニングデータセットを作成する。 次に、生成したデータセットを使ってトレーニングしたマルチモーダルな大規模言語モデルであるChartLlamaを紹介します。
  論文  参考訳（メタデータ） (2023-11-27T15:20:23Z)
• ChartCheck: Explainable Fact-Checking over Real-World Chart Images [11.172722085164281]
  ChartCheckは、実世界のグラフに対する説明可能な事実チェックのための、新しい大規模データセットである。 視覚言語モデルとチャート・ツー・テーブルモデルを用いてChartCheckを体系的に評価し,コミュニティにベースラインを提案する。
  論文  参考訳（メタデータ） (2023-11-13T16:35:29Z)
• StructChart: On the Schema, Metric, and Augmentation for Visual Chart Understanding [54.45681512355684]
  現在のチャート関連タスクは、ビジュアルチャートから情報を抽出するチャート認識か、抽出されたデータに基づいてチャート推論にフォーカスする。 我々はStructChartを紹介した。StructChartはStruct Triplet Representations(STR)を利用して、統一的でラベル効率のよいアプローチを実現する新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-09-20T12:51:13Z)
• Enhanced Chart Understanding in Vision and Language Task via Cross-modal Pre-training on Plot Table Pairs [71.55796212450055]
  本稿では、プロットテーブルペア上でのクロスモーダル事前学習を通じて、チャート画像からテーブル情報を解釈する方法を学ぶV+LモデルであるChartT5を紹介する。 具体的には,MHP(Masked Header Prediction)とMVP(Masked Value Prediction)の2つの新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2023-05-29T22:29:03Z)
• ChartReader: A Unified Framework for Chart Derendering and Comprehension without Heuristic Rules [89.75395046894809]
  ChartReaderは、チャートのデレンダリングと理解タスクをシームレスに統合する統合フレームワークです。 提案手法には,トランスフォーマーに基づくチャートコンポーネント検出モジュールと,チャートからXまでのタスクに対する事前学習型視覚言語モデルが組み込まれている。 提案するフレームワークは,チャート解析に係わる作業を大幅に削減し,ユニバーサルチャート理解モデルへの一歩を踏み出すことができる。
  論文  参考訳（メタデータ） (2023-04-05T00:25:27Z)
• Chart-to-Text: A Large-Scale Benchmark for Chart Summarization [9.647079534077472]
  2つのデータセットと44,096のチャートを持つ大規模ベンチマークであるChart-to-textを提示する。 データセット構築プロセスを説明し、データセットを解析する。
  論文  参考訳（メタデータ） (2022-03-12T17:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。