論文の概要: Decoupling Consistency and Conflict across MLLM Layers for Fake News Detection
- arxiv url: http://arxiv.org/abs/2610.36569v1
- Date: Tue, 27 Oct 2026 03:18:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.474241
- Title: Decoupling Consistency and Conflict across MLLM Layers for Fake News Detection
- Title(参考訳): フェイクニュース検出のためのMLLM層間の一貫性と矛盾の分離
- Abstract要約: リアルニュースは、通常、整列した画像テキストのセマンティクスを表示するが、フェイクニュースは、しばしば様々なレベルでいくつかのコンフリクトを含む。
既存のメソッドは通常、粗い静的な方法で一貫性とコンフリクトを扱い、スパースコンフリクトを捕捉し、さまざまなコンフリクトレベルに適応する能力を制限する。
マルチレベル・コンシステンシー・コンフリクト・デカップリング(MLCCD)を提案する。
- 参考スコア(独自算出の注目度): 11.42716813609406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The trustworthiness of Web content faces a growing threat from multimodal fake news. Real news usually shows aligned image-text semantics, while fake news often contains a few conflicts at varying levels, such as mismatches in objects, scenes, events, and claims. However, existing methods usually treat consistency and conflict in a coarse and static way, limiting their ability to capture sparse conflicts and adapt to varying conflict levels. Inspired by the distinct knowledge encoded across layers in large language models, we propose Multi-Level Consistency and Conflict Decoupling (MLCCD), which captures conflicts at different levels from different layers of multimodal large language models (MLLMs). Specifically, we first use the MLLM's final decision representation to select visual and textual tokens relevant to the task, preventing irrelevant content from diluting sparse conflicts. Then, we preserve tokens whose representations change sharply between adjacent layers, capturing the knowledge each layer adds. Finally, we decouple this knowledge into consistency and conflict evidence and aggregate each across layers with its own router, adapting to varying conflict levels. Experiments on three benchmarks show that MLCCD outperforms existing methods.
- Abstract(参考訳): Webコンテンツの信頼性は、マルチモーダルなフェイクニュースによる脅威の増大に直面している。
現実のニュースは通常、整列した画像テキストのセマンティクスを示すが、偽のニュースには、オブジェクトのミスマッチ、シーン、イベント、クレームなど、さまざまなレベルのコンフリクトが含まれていることが多い。
しかしながら、既存のメソッドは通常、粗い静的な方法で一貫性とコンフリクトを扱い、スパースコンフリクトをキャプチャし、さまざまなコンフリクトレベルに適応する能力を制限する。
大規模言語モデル(MLLM)の異なる層から異なるレベルのコンフリクトをキャプチャするマルチレベル一貫性と競合デカップリング(MLCCD)を提案する。
具体的には、まずMLLMの最終決定表現を用いて、タスクに関連する視覚的およびテキスト的トークンを選択し、無関係なコンテンツがスパースコンフリクトを希薄にするのを防ぐ。
次に、隣接する層間で表現が急激に変化するトークンを保存し、各層が付加する知識をキャプチャする。
最後に、これらの知識を一貫性とコンフリクトエビデンスに分離し、各レイヤを独自のルータで集約し、さまざまなコンフリクトレベルに適応します。
3つのベンチマーク実験により、LCCDは既存の手法よりも優れていることが示された。
関連論文リスト
- CAER: Conflict-Aware Evidence Routing with Dual Prefix Experts for Multimodal Large Language Models [25.759863166571858]
本稿では,視覚的コンフリクト検出とコンフリクト認識生成のためのバックボーンに依存しないフレームワークであるCAERを提案する。
本稿では,CAERが視覚言語間の衝突を効果的に検出し,バックボーンパラメータを更新することなく,オープンソースのMLLMの信頼性を向上させることを示す。
論文 参考訳(メタデータ) (2026-07-31T03:38:12Z) - CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection [56.64398465636452]
ジェネレーティブAIは、マルチモーダルなフェイクニュースをますます現実的で広範にし、公共の信頼と社会的安定に深刻な脅威を与えている。
textbfConflict-textbfOriented textbfREasoning (textbfCORE) フレームワークを提案する。
COREは堅牢で一般化可能なコンフリクト検出を実現し、いくつかのサンプルやゼロショット設定で、目に見えない操作タイプに効果的かつ迅速に適応する。
論文 参考訳(メタデータ) (2026-06-02T02:53:48Z) - Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding [51.242997961841276]
大規模言語モデルは事前学習を通じてパラメトリック知識を蓄積する。
知識の衝突は、時代遅れまたは誤ったパラメトリック知識が文脈における外部知識と衝突する際に起こる。
既存の手法は、対照的な復号化を通じて知識の衝突に対処するが、競合のないシナリオでは静的アプローチが出力分布を妨害する。
本稿では,動的認知和解復号法(DCRD)を提案する。
論文 参考訳(メタデータ) (2026-05-12T14:29:45Z) - Bridging Pixels and Words: Mask-Aware Local Semantic Fusion for Multimodal Media Verification [13.571218577944032]
MaLSF(Mask-aware Local Semantic Fusion)は、パラダイムをアクティブな双方向検証に移行する新しいフレームワークである。
マスクとラベルのペアをセマンティックアンカーとして使用し、ピクセルと単語をブリッジする。
MaLSFはDGM4とマルチモーダルのフェイクニュース検出タスクの両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-27T03:38:38Z) - Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。
我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。
本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
論文 参考訳(メタデータ) (2026-02-16T07:10:44Z) - Unraveling Cross-Modality Knowledge Conflicts in Large Vision-Language Models [33.76903352835436]
LVLM(Large Vision-Language Models)は、マルチモーダル入力をキャプチャし、推論する能力を示す。
これらのモデルは、そのビジョンと言語コンポーネント間の表現された知識の不整合から生じるパラメトリックな知識の衝突を招きやすい。
我々は、それらを検出し、解釈し、緩和するための体系的なアプローチを提案する。
論文 参考訳(メタデータ) (2024-10-04T17:59:28Z) - AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。
コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。
ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
論文 参考訳(メタデータ) (2024-09-11T16:35:18Z) - Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。
現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。
GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
論文 参考訳(メタデータ) (2022-11-14T11:41:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。