論文の概要: End-to-End Multimodal Fact-Checking and Explanation Generation: A
Challenging Dataset and Models
- arxiv url: http://arxiv.org/abs/2205.12487v2
- Date: Thu, 6 Jul 2023 21:22:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 16:14:08.882879
- Title: End-to-End Multimodal Fact-Checking and Explanation Generation: A
Challenging Dataset and Models
- Title(参考訳): エンドツーエンドのマルチモーダルファクトチェックと説明生成: 挑戦的なデータセットとモデル
- Authors: Barry Menglong Yao (1), Aditya Shah (1), Lichao Sun (2), Jin-Hee Cho
(1), Lifu Huang (1) ((1) Virginia Tech, (2) Lehigh University)
- Abstract要約: エンドツーエンドのファクトチェックと説明生成を提案する。
目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。
この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose end-to-end multimodal fact-checking and explanation generation,
where the input is a claim and a large collection of web sources, including
articles, images, videos, and tweets, and the goal is to assess the
truthfulness of the claim by retrieving relevant evidence and predicting a
truthfulness label (e.g., support, refute or not enough information), and to
generate a statement to summarize and explain the reasoning and ruling process.
To support this research, we construct Mocheg, a large-scale dataset consisting
of 15,601 claims where each claim is annotated with a truthfulness label and a
ruling statement, and 33,880 textual paragraphs and 12,112 images in total as
evidence. To establish baseline performances on Mocheg, we experiment with
several state-of-the-art neural architectures on the three pipelined subtasks:
multimodal evidence retrieval, claim verification, and explanation generation,
and demonstrate that the performance of the state-of-the-art end-to-end
multimodal fact-checking does not provide satisfactory outcomes. To the best of
our knowledge, we are the first to build the benchmark dataset and solutions
for end-to-end multimodal fact-checking and explanation generation. The
dataset, source code and model checkpoints are available at
https://github.com/VT-NLP/Mocheg.
- Abstract(参考訳): 本稿では, 記事, 画像, ビデオ, つぶやきを含む大量のWebソースを入力として, クレームの真理性を評価し, 真理性ラベル(例えば, サポート, 反感, あるいは不十分な情報)を予測することによって, クレームの真理性を評価することを目的とした, インプットがクレームであり, 大量のWebソースの集合である, エンドツーエンドのマルチモーダルなファクトチェックと説明生成を提案する。
この研究を支援するために,各クレームに真理性ラベルと裁定文を付記した15,601件のクレームと,33,880段落と12,112枚の画像からなる大規模データセットであるmochegを構築した。
マルチモーダルエビデンス検索,クレーム検証,説明生成という,3つのパイプラインサブタスク上での最先端のニューラルネットワークアーキテクチャのベースライン性能を確立するため,最先端のマルチモーダルファクトチェックの性能が満足できる結果にならないことを実証した。
私たちの知る限りでは、ベンチマークデータセットとエンドツーエンドのマルチモーダルファクトチェックと説明生成のためのソリューションを最初に構築しました。
データセット、ソースコード、モデルチェックポイントはhttps://github.com/VT-NLP/Mocheg.comで入手できる。
関連論文リスト
- Multimodal Large Language Models to Support Real-World Fact-Checking [87.84266975165305]
MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。
MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。
本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-06T11:32:41Z) - EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification [23.767003824313328]
マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
論文 参考訳(メタデータ) (2023-10-15T06:46:15Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳(メタデータ) (2023-03-02T17:45:32Z) - CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。
このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文 参考訳(メタデータ) (2022-06-06T09:11:03Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Logically at the Factify 2022: Multimodal Fact Verification [2.8914815569249823]
本稿では,AAAI 2022におけるマルチモーダル事実検証(Factify)課題の参加者システムについて述べる。
アンサンブルモデルとマルチモーダルアテンションネットワークを含む2つのベースラインアプローチを提案し,検討した。
我々の最良モデルは、検証セットとテストセットの両方において、重み付き平均F値が0.77となるリーダーボードで第1位にランクされている。
論文 参考訳(メタデータ) (2021-12-16T23:34:07Z) - FEVEROUS: Fact Extraction and VERification Over Unstructured and
Structured information [21.644199631998482]
我々は、87,026の検証済みクレームからなる新しいデータセットとベンチマーク、Fact extract and VERification Over Unstructured and Structured Information (FEVEROUS)を導入する。
それぞれのクレームには、ウィキペディアの表の文やセルの形での証拠と、この証拠が評決に達するのに十分な情報を提供していないかどうかを示すラベルが添付されている。
本研究は, 請求書の正しい証拠と18%の判定の両方を予測できる, テキストや表に対する請求を検証するためのベースラインを開発する。
論文 参考訳(メタデータ) (2021-06-10T12:47:36Z) - A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。
Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2021-06-02T05:40:12Z) - A Knowledge Enhanced Learning and Semantic Composition Model for
Multi-Claim Fact Checking [22.150090779582538]
マルチリザーブファクトチェックのためのエンドツーエンドの知識強化学習・検証手法を提案する。
本手法は、KGベースの学習強化とマルチリザーブセマンティクス合成の2つのモジュールから構成される。
論文 参考訳(メタデータ) (2021-04-27T08:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。