論文の概要: RED-DOT: Multimodal Fact-checking via Relevant Evidence Detection
- arxiv url: http://arxiv.org/abs/2311.09939v2
- Date: Thu, 7 Mar 2024 11:13:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 17:39:34.023353
- Title: RED-DOT: Multimodal Fact-checking via Relevant Evidence Detection
- Title(参考訳): RED-DOT:関連証拠検出によるマルチモーダルファクトチェック
- Authors: Stefanos-Iordanis Papadopoulos, Christos Koutlis, Symeon Papadopoulos,
Panagiotis C. Petrantonakis
- Abstract要約: 本稿では,各証拠が関連しているかどうかを識別するために,関連証拠検出(RED)モジュールを提案する。
RED-DOTは、VERITEベンチマークの最先端(SotA)を最大33.7%改善した。
RED-DOT は NewsCLIPings+ で SotA を最大3% 上回った。
- 参考スコア(独自算出の注目度): 17.107961913114778
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Online misinformation is often multimodal in nature, i.e., it is caused by
misleading associations between texts and accompanying images. To support the
fact-checking process, researchers have been recently developing automatic
multimodal methods that gather and analyze external information, evidence,
related to the image-text pairs under examination. However, prior works assumed
all external information collected from the web to be relevant. In this study,
we introduce a "Relevant Evidence Detection" (RED) module to discern whether
each piece of evidence is relevant, to support or refute the claim.
Specifically, we develop the "Relevant Evidence Detection Directed Transformer"
(RED-DOT) and explore multiple architectural variants (e.g., single or
dual-stage) and mechanisms (e.g., "guided attention"). Extensive ablation and
comparative experiments demonstrate that RED-DOT achieves significant
improvements over the state-of-the-art (SotA) on the VERITE benchmark by up to
33.7%. Furthermore, our evidence re-ranking and element-wise modality fusion
led to RED-DOT surpassing the SotA on NewsCLIPings+ by up to 3% without the
need for numerous evidence or multiple backbone encoders. We release our code
at: https://github.com/stevejpapad/relevant-evidence-detection
- Abstract(参考訳): オンライン誤報は、本質的には多様であり、テキストと付随する画像の誤認によって引き起こされる。
ファクトチェックプロセスをサポートするために、研究者は、最近、検査中の画像テキストペアに関連する外部情報、証拠を収集、分析する自動マルチモーダル手法を開発した。
しかし、以前の研究は、Webから収集された外部情報はすべて関連していると仮定していた。
本研究では,各証拠が関連しているかを判断し,その主張を支持するか,あるいは反論する「関連証拠検出(red)」モジュールを導入する。
具体的には、関連エビデンス検出指向変換器(RED-DOT)を開発し、複数のアーキテクチャのバリエーション(例:シングルまたはダブルステージ)とメカニズム(例:「誘導注意」)を探索する。
大規模なアブレーションと比較実験により、RED-DOTはVERITEベンチマークにおける最先端(SotA)よりも33.7%大きな改善を達成している。
以上の結果から, RED-DOT は NewsCLIPings+ の SotA を最大3% 越える結果となり, 多数の証拠や複数のバックボーンエンコーダが不要となった。
コードはhttps://github.com/stevejpapad/relevant-evidence-detectionでリリースします。
関連論文リスト
- Support or Refute: Analyzing the Stance of Evidence to Detect
Out-of-Context Mis- and Disinformation [13.134162427636356]
ネット上の誤報や偽報が社会問題となっている。
誤情報や偽情報の1つの一般的な形態は、文脈外情報(OOC)である。
マルチモーダルな証拠の異なる部分のスタンスを抽出できるスタンス抽出ネットワーク(SEN)を提案する。
論文 参考訳(メタデータ) (2023-11-03T08:05:54Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳(メタデータ) (2023-05-17T06:48:35Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - IMCI: Integrate Multi-view Contextual Information for Fact Extraction
and Verification [19.764122035213067]
我々は,事実抽出と検証のために,多視点文脈情報(IMCI)を統合することを提案する。
FEVER 1.0共有タスクの実験結果から,IMCIフレームワークは事実抽出と検証の両面で大きな進歩を示している。
論文 参考訳(メタデータ) (2022-08-30T05:57:34Z) - End-to-End Multimodal Fact-Checking and Explanation Generation: A
Challenging Dataset and Models [0.0]
エンドツーエンドのファクトチェックと説明生成を提案する。
目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。
この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
論文 参考訳(メタデータ) (2022-05-25T04:36:46Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Target-aware Dual Adversarial Learning and a Multi-scenario
Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。
従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。
本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文 参考訳(メタデータ) (2022-03-30T11:44:56Z) - Mining Fine-grained Semantics via Graph Neural Networks for
Evidence-based Fake News Detection [20.282527436527765]
本稿では,グラフベースのsEmantic sTructureマイニングフレームワークを提案する。
我々は、クレームとエビデンスをグラフ構造化データとしてモデル化し、長距離セマンティック依存関係をキャプチャします。
文脈意味情報を得た後、グラフ構造学習を行うことにより、情報冗長性を低減する。
論文 参考訳(メタデータ) (2022-01-18T11:28:36Z) - Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context
Images via Online Resources [70.68526820807402]
実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。
私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。
私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
論文 参考訳(メタデータ) (2021-11-30T19:36:20Z) - Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact
Verification [19.130541561303293]
本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。
2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
論文 参考訳(メタデータ) (2021-06-02T14:33:12Z) - Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。
我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。
このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
論文 参考訳(メタデータ) (2021-04-07T04:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。