論文の概要: Mitigating GenAI-powered Evidence Pollution for Out-of-Context Multimodal Misinformation Detection

• arxiv url: http://arxiv.org/abs/2501.14728v1
• Date: Fri, 24 Jan 2025 18:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:58:56.300804
• Title: Mitigating GenAI-powered Evidence Pollution for Out-of-Context Multimodal Misinformation Detection
• Title（参考訳）: 外部マルチモーダル誤情報検出のためのGenAIによるエビデンス汚染の軽減
• Authors: Zehong Yan, Peng Qi, Wynne Hsu, Mong Li Lee,
• Abstract要約: アウト・オブ・コンテクストのマルチモーダル誤報検出は、GenAIに汚染された証拠を推論して正確な予測を導出する問題に直面している。 既存の作業は、請求レベルでのGenAIによる汚染をシミュレートし、スタイリスティックな書き換えによって言語的手がかりを隠蔽し、そのような情報検索アプリケーションに対する証拠レベルの汚染を無視する。 汚染された証拠から生じる課題に対処するため, クロスモーダル・エビデンスとクロスモーダル・エビデンス・推論の2つの戦略を提案する。
• 参考スコア（独自算出の注目度）: 16.8035295204995
• License:
• Abstract: While large generative artificial intelligence (GenAI) models have achieved significant success, they also raise growing concerns about online information security due to their potential misuse for generating deceptive content. Out-of-context (OOC) multimodal misinformation detection, which often retrieves Web evidence to identify the repurposing of images in false contexts, faces the issue of reasoning over GenAI-polluted evidence to derive accurate predictions. Existing works simulate GenAI-powered pollution at the claim level with stylistic rewriting to conceal linguistic cues, and ignore evidence-level pollution for such information-seeking applications. In this work, we investigate how polluted evidence affects the performance of existing OOC detectors, revealing a performance degradation of more than 9 percentage points. We propose two strategies, cross-modal evidence reranking and cross-modal claim-evidence reasoning, to address the challenges posed by polluted evidence. Extensive experiments on two benchmark datasets show that these strategies can effectively enhance the robustness of existing out-of-context detectors amidst polluted evidence.
• Abstract（参考訳）: 大規模な生成人工知能(GenAI)モデルは大きな成功を収めているが、偽コンテンツの生成に誤用される可能性があるため、オンライン情報セキュリティに対する懸念が高まっている。 Out-of-context (OOC) multimodal misinformation detection(英語版)は、しばしばWebエビデンスを取得して、偽コンテキストにおける画像の再利用を識別する。 既存の作業は、請求レベルでのGenAIによる汚染をシミュレートし、スタイリスティックな書き換えによって言語的手がかりを隠蔽し、そのような情報検索アプリケーションに対する証拠レベルの汚染を無視する。 本研究では,汚染された証拠が既存のOOC検出器の性能に与える影響について検討し,9ポイント以上の性能劣化を示す。 汚染された証拠から生じる課題に対処するため, クロスモーダル・エビデンスとクロスモーダル・エビデンス・推論の2つの戦略を提案する。 2つのベンチマークデータセットの大規模な実験は、これらの戦略が汚染された証拠の中で既存の文脈外検知器の堅牢性を効果的に向上できることを示している。

関連論文リスト

• Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
  顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。 本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。 本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
  論文  参考訳（メタデータ） (2024-11-28T13:04:45Z)
• On the Risk of Evidence Pollution for Malicious Social Text Detection in the Era of LLMs [16.577002889693627]
  Evidence-enhanced detectorsは、悪意のある社会テキストと関連する証拠を識別する際、顕著な能力を示す。 大型言語モデル(LLM)の台頭は、検知器を混乱させる証拠汚染の潜在的なリスクをもたらす。 本稿では, 証拠の操作方法, 基本汚染を含む誤用シナリオのシミュレーション, 証拠の表現・生成について考察する。
  論文  参考訳（メタデータ） (2024-10-16T14:17:53Z)
• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• How to Train Your Fact Verifier: Knowledge Transfer with Multimodal Open Models [95.44559524735308]
  大規模言語またはマルチモーダルモデルに基づく検証は、偽コンテンツや有害コンテンツの拡散を緩和するためのオンラインポリシングメカニズムをスケールアップするために提案されている。 我々は,知識伝達の初期研究を通じて,継続的な更新を行うことなく基礎モデルの性能向上の限界をテストする。 最近の2つのマルチモーダルなファクトチェックベンチマークであるMochegとFakedditの結果は、知識伝達戦略がファクドディットのパフォーマンスを最先端よりも1.7%向上し、Mochegのパフォーマンスを2.9%向上させることができることを示唆している。
  論文  参考訳（メタデータ） (2024-06-29T08:39:07Z)
• Evidence-Driven Retrieval Augmented Response Generation for Online Misinformation [18.18205773056388]
  オンライン誤報(RARG)のための検索強化応答生成を提案する。 RARGは科学的情報源から証拠を収集し、証拠に基づいて反情報応答を生成する。 得られた証拠の質を維持しつつ,得られた証拠の有効利用を最大化する報奨関数を提案する。
  論文  参考訳（メタデータ） (2024-03-22T05:05:45Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Progressive Evidence Refinement for Open-domain Multimodal Retrieval Question Answering [20.59485758381809]
  現在のマルチモーダル検索質問答えモデルは2つの大きな課題に直面している。 モデルへの入力として圧縮されたエビデンスの特徴を利用すると、エビデンス内の詳細な情報が失われる。 本稿では,これらの問題を緩和するための証拠検索と質問応答のための2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2023-10-15T01:18:39Z)
• ADC: Adversarial attacks against object Detection that evade Context consistency checks [55.8459119462263]
  文脈整合性チェックさえも、適切に構築された敵の例に対して脆弱であることを示す。 このような防御を覆す実例を生成するための適応型フレームワークを提案する。 我々の結果は、コンテキストを堅牢にモデル化し、一貫性をチェックする方法はまだ未解決の問題であることを示している。
  論文  参考訳（メタデータ） (2021-10-24T00:25:09Z)
• Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data [64.65952078807086]
  光現実性画像生成は、GAN(Generative Adversarial Network)のブレークスルーにより、新たな品質レベルに達した。 しかし、このようなディープフェイクのダークサイド、すなわち生成されたメディアの悪意ある使用は、視覚的誤報に関する懸念を提起する。 我々は,モデルに人工指紋を導入することによって,深度検出の積極的な,持続可能なソリューションを模索する。
  論文  参考訳（メタデータ） (2020-07-16T16:49:55Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。