論文の概要: Multimodal Misinformation Detection using Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2407.14321v1
• Date: Fri, 19 Jul 2024 13:57:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 17:24:54.165121
• Title: Multimodal Misinformation Detection using Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルを用いたマルチモーダル誤情報検出
• Authors: Sahar Tahmasebi, Eric Müller-Budack, Ralph Ewerth,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 7.505532091249881
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing proliferation of misinformation and its alarming impact have motivated both industry and academia to develop approaches for misinformation detection and fact checking. Recent advances on large language models (LLMs) have shown remarkable performance in various tasks, but whether and how LLMs could help with misinformation detection remains relatively underexplored. Most of existing state-of-the-art approaches either do not consider evidence and solely focus on claim related features or assume the evidence to be provided. Few approaches consider evidence retrieval as part of the misinformation detection but rely on fine-tuning models. In this paper, we investigate the potential of LLMs for misinformation detection in a zero-shot setting. We incorporate an evidence retrieval component into the process as it is crucial to gather pertinent information from various sources to detect the veracity of claims. To this end, we propose a novel re-ranking approach for multimodal evidence retrieval using both LLMs and large vision-language models (LVLM). The retrieved evidence samples (images and texts) serve as the input for an LVLM-based approach for multimodal fact verification (LVLM4FV). To enable a fair evaluation, we address the issue of incomplete ground truth for evidence samples in an existing evidence retrieval dataset by annotating a more complete set of evidence samples for both image and text retrieval. Our experimental results on two datasets demonstrate the superiority of the proposed approach in both evidence retrieval and fact verification tasks and also better generalization capability across dataset compared to the supervised baseline.
• Abstract（参考訳）: 誤情報の増加とその脅威的影響は、誤情報検出と事実確認のためのアプローチを開発するために、産業と学術の両方を動機付けている。 大規模言語モデル(LLM)の最近の進歩は、様々なタスクにおいて顕著な性能を示しているが、LLMが誤情報検出にどのように役立つかは、まだ明らかにされていない。 既存の最先端のアプローチのほとんどは、証拠を考慮せず、主張に関連する特徴のみに焦点を当てるか、提供すべき証拠を仮定する。 誤情報検出の一部としてエビデンス検索を考えるアプローチはほとんどないが、微調整モデルに依存している。 本稿では,ゼロショット設定における誤情報検出のためのLLMの可能性について検討する。 このプロセスには証拠検索コンポーネントが組み込まれており,クレームの正確性を検出するために,さまざまなソースから関連する情報を収集することが重要である。 そこで本研究では,LLMと大規模視覚言語モデル(LVLM)を併用したマルチモーダルエビデンス検索手法を提案する。 得られたエビデンスサンプル(画像とテキスト)は、マルチモーダル事実検証(LVLM4FV)のためのLVLMベースのアプローチの入力となる。 公平な評価を可能にするため,既存の証拠検索データセットにおいて,画像検索とテキスト検索の両方に対して,より完全な証拠サンプルを注釈付けすることで,証拠サンプルの不完全な根拠真理の問題に対処する。 2つのデータセットに対する実験結果は、エビデンス検索と事実検証の両方において提案手法の優位性を示し、また、教師付きベースラインと比較してデータセット全体の一般化能力も向上した。

関連論文リスト

• MetaSumPerceiver: Multimodal Multi-Document Evidence Summarization for Fact-Checking [0.283600654802951]
  マルチモーダルデータセットからファクトチェックに有用なクレーム固有の要約を生成するために設計された要約モデルを提案する。 任意の長さの複数のモードから入力を処理できる動的知覚モデルを提案する。 提案手法は,MOCHEGデータセットのクレーム検証タスクにおいて,SOTAアプローチを4.6%向上させる。
  論文  参考訳（メタデータ） (2024-07-18T01:33:20Z)
• Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments [23.639378586798884]
  コントラスト引数の合成による検索拡張現実事実検証を提案する。 提案手法は,関連文書を証拠として効果的に検索し,様々な視点から議論を評価する。 RAFTS は GPT 法よりはるかに小さい 7B LLM で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-06-14T08:13:34Z)
• Re-Search for The Truth: Multi-round Retrieval-augmented Large Language Models are Strong Fake News Detectors [38.75533934195315]
  大きな言語モデル(LLM)はその顕著な推論と生成能力で知られている。 クレーム検証のための Web ソースからキーエビデンスを自動的に戦略的に抽出する,新たな LLM フレームワークについて紹介する。 我々の枠組みは十分な証拠の取得を保証し、性能を向上させる。
  論文  参考訳（メタデータ） (2024-03-14T00:35:39Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• Progressive Evidence Refinement for Open-domain Multimodal Retrieval Question Answering [20.59485758381809]
  現在のマルチモーダル検索質問答えモデルは2つの大きな課題に直面している。 モデルへの入力として圧縮されたエビデンスの特徴を利用すると、エビデンス内の詳細な情報が失われる。 本稿では,これらの問題を緩和するための証拠検索と質問応答のための2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2023-10-15T01:18:39Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。