論文の概要: RED-DOT: Multimodal Fact-checking via Relevant Evidence Detection

• arxiv url: http://arxiv.org/abs/2311.09939v2
• Date: Thu, 7 Mar 2024 11:13:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 17:39:34.023353
• Title: RED-DOT: Multimodal Fact-checking via Relevant Evidence Detection
• Title（参考訳）: RED-DOT:関連証拠検出によるマルチモーダルファクトチェック
• Authors: Stefanos-Iordanis Papadopoulos, Christos Koutlis, Symeon Papadopoulos, Panagiotis C. Petrantonakis
• Abstract要約: 本稿では,各証拠が関連しているかどうかを識別するために,関連証拠検出(RED)モジュールを提案する。 RED-DOTは、VERITEベンチマークの最先端(SotA)を最大33.7%改善した。 RED-DOT は NewsCLIPings+ で SotA を最大3% 上回った。
• 参考スコア（独自算出の注目度）: 17.107961913114778
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Online misinformation is often multimodal in nature, i.e., it is caused by misleading associations between texts and accompanying images. To support the fact-checking process, researchers have been recently developing automatic multimodal methods that gather and analyze external information, evidence, related to the image-text pairs under examination. However, prior works assumed all external information collected from the web to be relevant. In this study, we introduce a "Relevant Evidence Detection" (RED) module to discern whether each piece of evidence is relevant, to support or refute the claim. Specifically, we develop the "Relevant Evidence Detection Directed Transformer" (RED-DOT) and explore multiple architectural variants (e.g., single or dual-stage) and mechanisms (e.g., "guided attention"). Extensive ablation and comparative experiments demonstrate that RED-DOT achieves significant improvements over the state-of-the-art (SotA) on the VERITE benchmark by up to 33.7%. Furthermore, our evidence re-ranking and element-wise modality fusion led to RED-DOT surpassing the SotA on NewsCLIPings+ by up to 3% without the need for numerous evidence or multiple backbone encoders. We release our code at: https://github.com/stevejpapad/relevant-evidence-detection
• Abstract（参考訳）: オンライン誤報は、本質的には多様であり、テキストと付随する画像の誤認によって引き起こされる。 ファクトチェックプロセスをサポートするために、研究者は、最近、検査中の画像テキストペアに関連する外部情報、証拠を収集、分析する自動マルチモーダル手法を開発した。 しかし、以前の研究は、Webから収集された外部情報はすべて関連していると仮定していた。 本研究では,各証拠が関連しているかを判断し,その主張を支持するか,あるいは反論する「関連証拠検出(red)」モジュールを導入する。 具体的には、関連エビデンス検出指向変換器(RED-DOT)を開発し、複数のアーキテクチャのバリエーション(例:シングルまたはダブルステージ)とメカニズム(例:「誘導注意」)を探索する。 大規模なアブレーションと比較実験により、RED-DOTはVERITEベンチマークにおける最先端(SotA)よりも33.7%大きな改善を達成している。 以上の結果から, RED-DOT は NewsCLIPings+ の SotA を最大3% 越える結果となり, 多数の証拠や複数のバックボーンエンコーダが不要となった。 コードはhttps://github.com/stevejpapad/relevant-evidence-detectionでリリースします。

関連論文リスト

• GEGA: Graph Convolutional Networks and Evidence Retrieval Guided Attention for Enhanced Document-level Relation Extraction [15.246183329778656]
  ドキュメントレベルの関係抽出(DocRE)は、構造化されていない文書テキストからエンティティ間の関係を抽出することを目的としている。 これらの課題を克服するために,DocREの新しいモデルであるGEGAを提案する。 我々は、広く使用されている3つのベンチマークデータセット、DocRED、Re-DocRED、Revisit-DocREDでGEGAモデルを評価する。
  論文  参考訳（メタデータ） (2024-07-31T07:15:33Z)
• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• Similarity over Factuality: Are we making progress on multimodal out-of-context misinformation detection? [15.66049149213069]
  アウト・オブ・コンテクスト(OOC)の誤報は、マルチモーダルな事実チェックにおいて重大な課題となる。 証拠に基づくOOC検出の最近の研究は、ますます複雑なアーキテクチャへと向かっている。 画像テキスト対と外部画像とテキストエビデンスとの類似性を評価する。
  論文  参考訳（メタデータ） (2024-07-18T13:08:55Z)
• Support or Refute: Analyzing the Stance of Evidence to Detect Out-of-Context Mis- and Disinformation [13.134162427636356]
  ネット上の誤報や偽報が社会問題となっている。 誤情報や偽情報の1つの一般的な形態は、文脈外情報(OOC)である。 マルチモーダルな証拠の異なる部分のスタンスを抽出できるスタンス抽出ネットワーク(SEN)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:05:54Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models [0.0]
  エンドツーエンドのファクトチェックと説明生成を提案する。 目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。 この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
  論文  参考訳（メタデータ） (2022-05-25T04:36:46Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context Images via Online Resources [70.68526820807402]
  実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。 私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。 私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
  論文  参考訳（メタデータ） (2021-11-30T19:36:20Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。