論文の概要: HiEAG: Evidence-Augmented Generation for Out-of-Context Misinformation Detection
- arxiv url: http://arxiv.org/abs/2511.14027v1
- Date: Tue, 18 Nov 2025 01:11:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:52.865043
- Title: HiEAG: Evidence-Augmented Generation for Out-of-Context Misinformation Detection
- Title(参考訳): HiEAG: 文脈外誤情報検出のためのエビデンス強化生成
- Authors: Junjie Wu, Yumeng Fu, Nan Yu, Guohong Fu,
- Abstract要約: 外部整合性チェックを改良する新しい階層的エビデンス拡張生成フレームワークであるHiEAGを提案する。
提案手法では,外部整合性チェックを総合的なエンジンパイプラインに分解する。
提案手法は, 判断の説明を可能にし, 命令調律による印象的な性能を実現する。
- 参考スコア(独自算出の注目度): 8.609016163081744
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advancements in multimodal out-of-context (OOC) misinformation detection have made remarkable progress in checking the consistencies between different modalities for supporting or refuting image-text pairs. However, existing OOC misinformation detection methods tend to emphasize the role of internal consistency, ignoring the significant of external consistency between image-text pairs and external evidence. In this paper, we propose HiEAG, a novel Hierarchical Evidence-Augmented Generation framework to refine external consistency checking through leveraging the extensive knowledge of multimodal large language models (MLLMs). Our approach decomposes external consistency checking into a comprehensive engine pipeline, which integrates reranking and rewriting, apart from retrieval. Evidence reranking module utilizes Automatic Evidence Selection Prompting (AESP) that acquires the relevant evidence item from the products of evidence retrieval. Subsequently, evidence rewriting module leverages Automatic Evidence Generation Prompting (AEGP) to improve task adaptation on MLLM-based OOC misinformation detectors. Furthermore, our approach enables explanation for judgment, and achieves impressive performance with instruction tuning. Experimental results on different benchmark datasets demonstrate that our proposed HiEAG surpasses previous state-of-the-art (SOTA) methods in the accuracy over all samples.
- Abstract(参考訳): マルチモーダル・アウト・オブ・コンテクスト(OOC)誤報検出の最近の進歩は、画像とテキストのペアを支えたり反証したりするための様々なモダリティ間の相違点の確認において顕著な進歩を遂げている。
しかし、既存のOOC誤報検出手法は、画像とテキストのペアと外部のエビデンスの間の外部の一貫性を無視し、内部の一貫性の役割を強調する傾向にある。
本稿では,マルチモーダルな大規模言語モデル(MLLM)の広範な知識を活用することで,外部整合性チェックを洗練するための新しい階層的エビデンス拡張生成フレームワークであるHiEAGを提案する。
提案手法では,外部整合性チェックを総合的なエンジンパイプラインに分解する。
エビデンス修正モジュールは、エビデンス検索の製品から関連するエビデンス項目を取得する自動エビデンス選択証明(AESP)を利用する。
その後、エビデンス書き換えモジュールは自動エビデンス生成プロンプティング(AEGP)を活用し、MLLMベースのOOC誤報検出装置のタスク適応を改善する。
さらに,本手法により判断の説明が可能となり,指導調律による印象的な性能を実現することができる。
異なるベンチマークデータセットによる実験結果から,提案したHiEAGが従来のSOTA法よりも精度が高いことが示された。
関連論文リスト
- RADIANT: Retrieval AugmenteD entIty-context AligNmenT -- Introducing RAG-ability and Entity-Context Divergence [18.268335797537983]
Retrieval-Augmented Generation (RAG) は、外部知識を生成プロセスに統合することにより、事実の精度を高める技術である。
本稿では,得られた証拠と生成されたコンテンツとの相互作用を最適化するために,RAGとアライメントを組み合わせたフレームワークであるRadiantを紹介する。
論文 参考訳(メタデータ) (2025-06-28T21:40:35Z) - CMIE: Combining MLLM Insights with External Evidence for Explainable Out-of-Context Misinformation Detection [14.140095146756996]
本稿では,OOC誤報を検出するための新しいフレームワークであるCMIEを提案する。
CMIEは、画像とテキスト間の基盤的共存を特定し、関連する証拠を選択的に利用して誤情報検出を強化する。
論文 参考訳(メタデータ) (2025-05-29T13:56:21Z) - Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。
本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
論文 参考訳(メタデータ) (2025-05-27T11:56:59Z) - Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering [60.062194349648195]
Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。
現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。
MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
論文 参考訳(メタデータ) (2025-05-22T09:52:57Z) - Unstructured Evidence Attribution for Long Context Query Focused Summarization [53.08341620504465]
固定粒度の場合よりも、より関連性が高く一貫した証拠を得るために、非構造的(すなわち任意の長さのスパン)な証拠を抽出することを提案する。
既存のシステムが、非構造的証拠をコピーし、適切に引用するのにどのように苦労しているかを示す。
論文 参考訳(メタデータ) (2025-02-20T09:57:42Z) - VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。
視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
論文 参考訳(メタデータ) (2024-12-14T06:24:55Z) - Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。
マルチモーダルエビデンス検索のための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-07-19T13:57:11Z) - RED-DOT: Multimodal Fact-checking via Relevant Evidence Detection [17.107961913114778]
本稿では,各証拠が関連しているかどうかを識別するために,関連証拠検出(RED)モジュールを提案する。
RED-DOTは、VERITEベンチマークの最先端(SotA)を最大33.7%改善した。
RED-DOT は NewsCLIPings+ で SotA を最大3% 上回った。
論文 参考訳(メタデータ) (2023-11-16T14:43:45Z) - Evidence-Aware Inferential Text Generation with Vector Quantised
Variational AutoEncoder [104.25716317141321]
本稿では,大規模なテキストコーパスからイベントの証拠を自動的に発見し,その証拠を利用して推論テキストの生成を導く手法を提案する。
このアプローチは、Event2MindとATOMICの両方のデータセットで最先端のパフォーマンスを提供します。
論文 参考訳(メタデータ) (2020-06-15T02:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。