論文の概要: CMIE: Combining MLLM Insights with External Evidence for Explainable Out-of-Context Misinformation Detection

• arxiv url: http://arxiv.org/abs/2505.23449v2
• Date: Fri, 30 May 2025 11:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 19:24:15.999905
• Title: CMIE: Combining MLLM Insights with External Evidence for Explainable Out-of-Context Misinformation Detection
• Title（参考訳）: CMIE:説明可能な外部情報検出のためのMLLMインサイトと外部エビデンスを組み合わせる
• Authors: Fanxiao Li, Jiaying Wu, Canyuan He, Wei Zhou,
• Abstract要約: 本稿では,OOC誤報を検出するための新しいフレームワークであるCMIEを提案する。 CMIEは、画像とテキスト間の基盤的共存を特定し、関連する証拠を選択的に利用して誤情報検出を強化する。
• 参考スコア（独自算出の注目度）: 4.506980868306549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) have demonstrated impressive capabilities in visual reasoning and text generation. While previous studies have explored the application of MLLM for detecting out-of-context (OOC) misinformation, our empirical analysis reveals two persisting challenges of this paradigm. Evaluating the representative GPT-4o model on direct reasoning and evidence augmented reasoning, results indicate that MLLM struggle to capture the deeper relationships-specifically, cases in which the image and text are not directly connected but are associated through underlying semantic links. Moreover, noise in the evidence further impairs detection accuracy. To address these challenges, we propose CMIE, a novel OOC misinformation detection framework that incorporates a Coexistence Relationship Generation (CRG) strategy and an Association Scoring (AS) mechanism. CMIE identifies the underlying coexistence relationships between images and text, and selectively utilizes relevant evidence to enhance misinformation detection. Experimental results demonstrate that our approach outperforms existing methods.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、視覚的推論とテキスト生成において印象的な能力を示す。 過去の研究では、MLLMの文脈外誤情報検出への応用について検討されてきたが、実証分析により、このパラダイムの2つの持続的課題が明らかとなった。 GPT-4oモデルを直接推論とエビデンス強化推論に基づいて評価した結果,MLLMは画像とテキストが直接接続されていないが基礎となるセマンティックリンクを介して関連付けられている場合において,より深い関係を特異的に捉えるのに苦慮していることが示された。 さらに、証拠のノイズはさらに検出精度を損なう。 これらの課題に対処するために,共存関係生成(CRG)戦略とアソシエーション・スコーリング(AS)機構を組み込んだ新しいOOC誤情報検出フレームワークであるCMIEを提案する。 CMIEは画像とテキスト間の共存関係を識別し、関連証拠を選択的に利用して誤情報検出を強化する。 実験の結果,本手法は既存手法よりも優れていることがわかった。

関連論文リスト

• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• Contradiction Detection in RAG Systems: Evaluating LLMs as Context Validators for Improved Information Consistency [0.6827423171182154]
  Retrieval Augmented Generation (RAG) システムは,大規模言語モデル(LLM)を最新情報で拡張するための強力な手法として登場した。 RAGは、特にニュースのような急速に進化する領域において、矛盾する情報を含む文書を提示することがある。 本研究では,RAGシステムの検索段階において発生する様々な矛盾をシミュレートする新しいデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-31T19:41:15Z)
• Unmasking Digital Falsehoods: A Comparative Analysis of LLM-Based Misinformation Detection Strategies [0.0]
  本稿では,テキストベース,マルチモーダル,エージェント間の誤情報検出手法の比較を行う。 本研究では,異なる話題領域における誤情報検出における微調整モデル,ゼロショット学習,系統的事実チェック機構の有効性を評価する。
  論文  参考訳（メタデータ） (2025-03-02T04:31:42Z)
• Eliciting Critical Reasoning in Retrieval-Augmented Language Models via Contrastive Explanations [4.697267141773321]
  Retrieval-augmented Generation (RAG) は、よりリッチな現実的コンテキストに体系的にアクセスする大規模言語モデル(LLM)をサポートするために、現代のNLPにおいて重要なメカニズムとして登場した。 近年の研究では、LLMはRAGに基づくインコンテキスト情報(誤った推論や幻覚につながる可能性のある制限)を批判的に分析するのに苦慮していることが示されている。 本稿では,RAGにおける批判的推論を,対照的な説明を通じてどのように引き起こすかを検討する。
  論文  参考訳（メタデータ） (2024-10-30T10:11:53Z)
• LLM-Consensus: Multi-Agent Debate for Visual Misinformation Detection [26.84072878231029]
  LLM-Consensusは誤情報検出のための新しいマルチエージェント討論システムである。 我々のフレームワークは、最先端の精度で説明可能な検出を可能にする。
  論文  参考訳（メタデータ） (2024-10-26T10:34:22Z)
• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Improving Vision Anomaly Detection with the Guidance of Language Modality [64.53005837237754]
  本稿では,マルチモーダルの観点から視覚モダリティの課題に取り組む。 本稿では,冗長な情報問題とスパース空間問題に対処するために,クロスモーダルガイダンス(CMG)を提案する。 視覚異常検出のためのよりコンパクトな潜在空間を学習するために、CMLEは言語モダリティから相関構造行列を学習する。
  論文  参考訳（メタデータ） (2023-10-04T13:44:56Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
  本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。 我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-05-25T15:26:13Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。