論文の概要: End-to-End Multimodal Fact-Checking and Explanation Generation: A
Challenging Dataset and Models
- arxiv url: http://arxiv.org/abs/2205.12487v2
- Date: Thu, 6 Jul 2023 21:22:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 16:14:08.882879
- Title: End-to-End Multimodal Fact-Checking and Explanation Generation: A
Challenging Dataset and Models
- Title（参考訳）: エンドツーエンドのマルチモーダルファクトチェックと説明生成: 挑戦的なデータセットとモデル
- Authors: Barry Menglong Yao (1), Aditya Shah (1), Lichao Sun (2), Jin-Hee Cho
(1), Lifu Huang (1) ((1) Virginia Tech, (2) Lehigh University)
- Abstract要約: エンドツーエンドのファクトチェックと説明生成を提案する。
目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。
この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose end-to-end multimodal fact-checking and explanation generation,
where the input is a claim and a large collection of web sources, including
articles, images, videos, and tweets, and the goal is to assess the
truthfulness of the claim by retrieving relevant evidence and predicting a
truthfulness label (e.g., support, refute or not enough information), and to
generate a statement to summarize and explain the reasoning and ruling process.
To support this research, we construct Mocheg, a large-scale dataset consisting
of 15,601 claims where each claim is annotated with a truthfulness label and a
ruling statement, and 33,880 textual paragraphs and 12,112 images in total as
evidence. To establish baseline performances on Mocheg, we experiment with
several state-of-the-art neural architectures on the three pipelined subtasks:
multimodal evidence retrieval, claim verification, and explanation generation,
and demonstrate that the performance of the state-of-the-art end-to-end
multimodal fact-checking does not provide satisfactory outcomes. To the best of
our knowledge, we are the first to build the benchmark dataset and solutions
for end-to-end multimodal fact-checking and explanation generation. The
dataset, source code and model checkpoints are available at
https://github.com/VT-NLP/Mocheg.
- Abstract（参考訳）: 本稿では, 記事, 画像, ビデオ, つぶやきを含む大量のWebソースを入力として, クレームの真理性を評価し, 真理性ラベル(例えば, サポート, 反感, あるいは不十分な情報)を予測することによって, クレームの真理性を評価することを目的とした, インプットがクレームであり, 大量のWebソースの集合である, エンドツーエンドのマルチモーダルなファクトチェックと説明生成を提案する。
この研究を支援するために,各クレームに真理性ラベルと裁定文を付記した15,601件のクレームと,33,880段落と12,112枚の画像からなる大規模データセットであるmochegを構築した。
マルチモーダルエビデンス検索,クレーム検証,説明生成という,3つのパイプラインサブタスク上での最先端のニューラルネットワークアーキテクチャのベースライン性能を確立するため,最先端のマルチモーダルファクトチェックの性能が満足できる結果にならないことを実証した。
私たちの知る限りでは、ベンチマークデータセットとエンドツーエンドのマルチモーダルファクトチェックと説明生成のためのソリューションを最初に構築しました。
データセット、ソースコード、モデルチェックポイントはhttps://github.com/VT-NLP/Mocheg.comで入手できる。
関連論文リスト
- BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
大規模言語モデル(LLM)は、様々な領域でますます重要になっている。
BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。
BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
論文 参考訳（メタデータ） (2024-10-01T15:11:24Z) - Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。
マルチモーダルエビデンス検索のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-19T13:57:11Z) - MetaSumPerceiver: Multimodal Multi-Document Evidence Summarization for Fact-Checking [0.283600654802951]
マルチモーダルデータセットからファクトチェックに有用なクレーム固有の要約を生成するために設計された要約モデルを提案する。
任意の長さの複数のモードから入力を処理できる動的知覚モデルを提案する。
提案手法は,MOCHEGデータセットのクレーム検証タスクにおいて,SOTAアプローチを4.6%向上させる。
論文 参考訳（メタデータ） (2024-07-18T01:33:20Z) - NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。
NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。
提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2024-03-28T03:04:00Z) - EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification [22.785622371421876]
マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
論文 参考訳（メタデータ） (2023-10-15T06:46:15Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:01:19Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳（メタデータ） (2023-03-02T17:45:32Z) - CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。
このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文 参考訳（メタデータ） (2022-06-06T09:11:03Z) - Logically at the Factify 2022: Multimodal Fact Verification [2.8914815569249823]
本稿では,AAAI 2022におけるマルチモーダル事実検証(Factify)課題の参加者システムについて述べる。
アンサンブルモデルとマルチモーダルアテンションネットワークを含む2つのベースラインアプローチを提案し,検討した。
我々の最良モデルは、検証セットとテストセットの両方において、重み付き平均F値が0.77となるリーダーボードで第1位にランクされている。
論文 参考訳（メタデータ） (2021-12-16T23:34:07Z) - A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。
Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2021-06-02T05:40:12Z) - A Knowledge Enhanced Learning and Semantic Composition Model for Multi-Claim Fact Checking [18.395092826197267]
本稿では,多条件事実チェックのためのエンド・ツー・エンドの知識強化学習と検証手法を提案する。
提案手法は,KGに基づく学習強化と多文意味合成という2つのモジュールから構成される。
論文 参考訳（メタデータ） (2021-04-27T08:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。