論文の概要: RED-DOT: Multimodal Fact-checking via Relevant Evidence Detection

• arxiv url: http://arxiv.org/abs/2311.09939v1
• Date: Thu, 16 Nov 2023 14:43:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 13:53:25.155074
• Title: RED-DOT: Multimodal Fact-checking via Relevant Evidence Detection
• Title（参考訳）: RED-DOT:関連証拠検出によるマルチモーダルファクトチェック
• Authors: Stefanos-Iordanis Papadopoulos, Christos Koutlis, Symeon Papadopoulos, Panagiotis C. Petrantonakis
• Abstract要約: 本稿では,各証拠が関連しているかどうかを識別するために,関連証拠検出(RED)モジュールを提案する。 RED-DOTはVERITEベンチマークの最先端よりも28.5%の大幅な改善を実現している。 その結果, RED-DOT は NewsCLIPings+ の性能向上と競争力の向上に繋がった。
• 参考スコア（独自算出の注目度）: 17.107961913114778
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Online misinformation is often multimodal in nature, i.e., it is caused by misleading associations between texts and accompanying images. To support the fact-checking process, researchers have been recently developing automatic multimodal methods that gather and analyze external information, evidence, related to the image-text pairs under examination. However, prior works assumed all collected evidence to be relevant. In this study, we introduce a "Relevant Evidence Detection" (RED) module to discern whether each piece of evidence is relevant, to support or refute the claim. Specifically, we develop the "Relevant Evidence Detection Directed Transformer" (RED-DOT) and explore multiple architectural variants (e.g., single or dual-stage) and mechanisms (e.g., "guided attention"). Extensive ablation and comparative experiments demonstrate that RED-DOT achieves significant improvements over the state-of-the-art on the VERITE benchmark by up to 28.5%. Furthermore, our evidence re-ranking and element-wise modality fusion led to RED-DOT achieving competitive and even improved performance on NewsCLIPings+, without the need for numerous evidence or multiple backbone encoders. Finally, our qualitative analysis demonstrates that the proposed "guided attention" module has the potential to enhance the architecture's interpretability. We release our code at: https://github.com/stevejpapad/relevant-evidence-detection
• Abstract（参考訳）: オンライン誤報は、本質的には多様であり、テキストと付随する画像の誤認によって引き起こされる。 ファクトチェックプロセスをサポートするために、研究者は、最近、検査中の画像テキストペアに関連する外部情報、証拠を収集、分析する自動マルチモーダル手法を開発した。 しかし、以前の研究はすべての収集された証拠が関連していると仮定していた。 本研究では,各証拠が関連しているかを判断し,その主張を支持するか,あるいは反論する「関連証拠検出(red)」モジュールを導入する。 具体的には、関連エビデンス検出指向変換器(RED-DOT)を開発し、複数のアーキテクチャのバリエーション(例:シングルまたはダブルステージ)とメカニズム(例:「誘導注意」)を探索する。 大規模なアブレーションと比較実験により、RED-DOTはVERITEベンチマークの最先端よりも28.5%向上した。 さらに,我々のエビデンスでは,多数のエビデンスや複数のバックボーンエンコーダを必要とせずに,RED-DOTの競争力向上,さらにNewsCLIPings+の性能向上を実現した。 最後に,質的分析により,提案する"ガイドド・アテンション"モジュールが,アーキテクチャの解釈可能性を高める可能性を証明した。 コードはhttps://github.com/stevejpapad/relevant-evidence-detectionでリリースします。

関連論文リスト

• GEGA: Graph Convolutional Networks and Evidence Retrieval Guided Attention for Enhanced Document-level Relation Extraction [15.246183329778656]
  ドキュメントレベルの関係抽出(DocRE)は、構造化されていない文書テキストからエンティティ間の関係を抽出することを目的としている。 これらの課題を克服するために,DocREの新しいモデルであるGEGAを提案する。 我々は、広く使用されている3つのベンチマークデータセット、DocRED、Re-DocRED、Revisit-DocREDでGEGAモデルを評価する。
  論文  参考訳（メタデータ） (2024-07-31T07:15:33Z)
• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• Similarity over Factuality: Are we making progress on multimodal out-of-context misinformation detection? [15.66049149213069]
  アウト・オブ・コンテクスト(OOC)の誤報は、マルチモーダルな事実チェックにおいて重大な課題となる。 証拠に基づくOOC検出の最近の研究は、ますます複雑なアーキテクチャへと向かっている。 画像テキスト対と外部画像とテキストエビデンスとの類似性を評価する。
  論文  参考訳（メタデータ） (2024-07-18T13:08:55Z)
• Support or Refute: Analyzing the Stance of Evidence to Detect Out-of-Context Mis- and Disinformation [13.134162427636356]
  ネット上の誤報や偽報が社会問題となっている。 誤情報や偽情報の1つの一般的な形態は、文脈外情報(OOC)である。 マルチモーダルな証拠の異なる部分のスタンスを抽出できるスタンス抽出ネットワーク(SEN)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:05:54Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models [0.0]
  エンドツーエンドのファクトチェックと説明生成を提案する。 目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。 この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
  論文  参考訳（メタデータ） (2022-05-25T04:36:46Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context Images via Online Resources [70.68526820807402]
  実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。 私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。 私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
  論文  参考訳（メタデータ） (2021-11-30T19:36:20Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。