論文の概要: MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval
- arxiv url: http://arxiv.org/abs/2602.10023v1
- Date: Tue, 10 Feb 2026 17:44:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 20:17:43.721139
- Title: MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval
- Title(参考訳): MEVER: グラフベースのエビデンス検索によるマルチモーダルかつ説明可能なクレーム検証
- Authors: Delvin Ce Zhang, Suhan Cui, Zhelin Chu, Xianren Zhang, Dongwon Lee,
- Abstract要約: 本稿では,エビデンス検索,マルチモーダルクレーム検証,説明生成を共同で行う新しいモデルを提案する。
マルチモーダル検証のためのクレームとエビデンスを一体化するためのトークンおよびエビデンスレベルの融合を提案する。
ほぼすべてのデータセットが一般的なドメインにあるので、クレーム検証コミュニティを補完するために、AIドメインに科学データセットであるAIChartClaimを作成します。
- 参考スコア(独自算出の注目度): 14.150601513832724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Verifying the truthfulness of claims usually requires joint multi-modal reasoning over both textual and visual evidence, such as analyzing both textual caption and chart image for claim verification. In addition, to make the reasoning process transparent, a textual explanation is necessary to justify the verification result. However, most claim verification works mainly focus on the reasoning over textual evidence only or ignore the explainability, resulting in inaccurate and unconvincing verification. To address this problem, we propose a novel model that jointly achieves evidence retrieval, multi-modal claim verification, and explanation generation. For evidence retrieval, we construct a two-layer multi-modal graph for claims and evidence, where we design image-to-text and text-to-image reasoning for multi-modal retrieval. For claim verification, we propose token- and evidence-level fusion to integrate claim and evidence embeddings for multi-modal verification. For explanation generation, we introduce multi-modal Fusion-in-Decoder for explainability. Finally, since almost all the datasets are in general domain, we create a scientific dataset, AIChartClaim, in AI domain to complement claim verification community. Experiments show the strength of our model.
- Abstract(参考訳): クレームの真正性を検証するには、通常、クレームの検証のために、テキストキャプションとチャートイメージの両方を分析するなど、テキストおよび視覚的証拠の両方に対する共同マルチモーダル推論が必要である。
また、推論プロセスを透過的にするためには、検証結果を正当化するためにテキストによる説明が必要である。
しかし、ほとんどのクレーム検証は、主に文章による証拠のみに対する推論に焦点を当て、説明可能性を無視し、不正確で不確実な検証をもたらす。
この問題に対処するために,証拠検索,マルチモーダルクレーム検証,説明生成を共同で行う新しいモデルを提案する。
証拠検索のために、我々は主張と証拠のための2層マルチモーダルグラフを構築し、マルチモーダル検索のための画像・テキスト・画像推論とテキスト・ツー・モーダル推論を設計する。
クレーム検証のために,マルチモーダル検証のためのクレームとエビデンスを組み込むトークンとエビデンスレベルの融合を提案する。
説明性を考慮したマルチモーダル・フュージョン・イン・デコーダを提案する。
最後に、ほぼすべてのデータセットが一般的なドメインにあるので、クレーム検証コミュニティを補完するために、AIドメインに科学データセットであるAIChartClaimを作成します。
実験は我々のモデルの強さを示している。
関連論文リスト
- Multimodal Fact Checking with Unified Visual, Textual, and Contextual Representations [2.139909491081949]
我々は"MultiCheck"と呼ばれる微細なマルチモーダル事実検証のための統一的なフレームワークを提案する。
我々のアーキテクチャは、テキストと画像のための専用エンコーダと、要素間相互作用を用いた相互関係をキャプチャする融合モジュールを組み合わせる。
我々はFactify 2データセットに対する我々のアプローチを評価し、F1の重み付けスコア0.84を達成し、ベースラインを大幅に上回った。
論文 参考訳(メタデータ) (2025-08-07T07:36:53Z) - From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。
本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文 参考訳(メタデータ) (2023-10-18T02:59:38Z) - EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification [22.785622371421876]
マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
論文 参考訳(メタデータ) (2023-10-15T06:46:15Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - Read it Twice: Towards Faithfully Interpretable Fact Verification by
Revisiting Evidence [59.81749318292707]
本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。
提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
論文 参考訳(メタデータ) (2023-05-02T03:23:14Z) - End-to-End Multimodal Fact-Checking and Explanation Generation: A
Challenging Dataset and Models [0.0]
エンドツーエンドのファクトチェックと説明生成を提案する。
目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。
この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
論文 参考訳(メタデータ) (2022-05-25T04:36:46Z) - Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context
Images via Online Resources [70.68526820807402]
実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。
私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。
私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
論文 参考訳(メタデータ) (2021-11-30T19:36:20Z) - Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact
Verification [19.130541561303293]
本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。
2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
論文 参考訳(メタデータ) (2021-06-02T14:33:12Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。