論文の概要: Modality Interactive Mixture-of-Experts for Fake News Detection
- arxiv url: http://arxiv.org/abs/2501.12431v1
- Date: Tue, 21 Jan 2025 16:49:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-23 16:53:57.472682
- Title: Modality Interactive Mixture-of-Experts for Fake News Detection
- Title（参考訳）: フェイクニュース検出のためのモダリティ・インタラクティブ・ミックス・オブ・エクササイズ
- Authors: Yifan Liu, Yaokun Liu, Zelin Li, Ruichen Yao, Yang Zhang, Dong Wang,
- Abstract要約: フェイクニュース検出のためのModality Interactive Mixture-of-Experts(MIMoE-FND)を提案する。
MIMoE-FNDは、マルチモーダルフェイクニュース検出を強化するために設計された、新しい階層型Mixture-of-Expertsフレームワークである。
2つの言語にまたがる3つの実世界のベンチマークに対する我々のアプローチを評価し、最先端の手法と比較して優れた性能を示す。
- 参考スコア（独自算出の注目度）: 13.508494216511094
- License:
- Abstract: The proliferation of fake news on social media platforms disproportionately impacts vulnerable populations, eroding trust, exacerbating inequality, and amplifying harmful narratives. Detecting fake news in multimodal contexts -- where deceptive content combines text and images -- is particularly challenging due to the nuanced interplay between modalities. Existing multimodal fake news detection methods often emphasize cross-modal consistency but ignore the complex interactions between text and visual elements, which may complement, contradict, or independently influence the predicted veracity of a post. To address these challenges, we present Modality Interactive Mixture-of-Experts for Fake News Detection (MIMoE-FND), a novel hierarchical Mixture-of-Experts framework designed to enhance multimodal fake news detection by explicitly modeling modality interactions through an interaction gating mechanism. Our approach models modality interactions by evaluating two key aspects of modality interactions: unimodal prediction agreement and semantic alignment. The hierarchical structure of MIMoE-FND allows for distinct learning pathways tailored to different fusion scenarios, adapting to the unique characteristics of each modality interaction. By tailoring fusion strategies to diverse modality interaction scenarios, MIMoE-FND provides a more robust and nuanced approach to multimodal fake news detection. We evaluate our approach on three real-world benchmarks spanning two languages, demonstrating its superior performance compared to state-of-the-art methods. By enhancing the accuracy and interpretability of fake news detection, MIMoE-FND offers a promising tool to mitigate the spread of misinformation, with the potential to better safeguard vulnerable communities against its harmful effects.
- Abstract（参考訳）: ソーシャルメディアプラットフォーム上での偽ニュースの拡散は、脆弱な人口、信頼の侵食、不平等の悪化、有害な物語の増幅に不当に影響を及ぼす。
虚偽コンテンツがテキストと画像を組み合わせているマルチモーダルな文脈で偽ニュースを検出することは、モダリティ間の微妙な相互作用のために特に困難である。
既存のマルチモーダルフェイクニュース検出手法は、しばしばクロスモーダルな一貫性を強調するが、テキストと視覚要素の間の複雑な相互作用を無視する。
これらの課題に対処するために,対話ゲーティング機構によるモーダルな相互作用を明示的にモデル化し,マルチモーダルなフェイクニュース検出を強化するために設計された,新しい階層型ミックス・オブ・エクスプットフレームワークMIMoE-FNDを提案する。
我々のアプローチは、モダリティ相互作用の2つの重要な側面、すなわち、単調な予測合意と意味的なアライメントを評価することによって、モダリティ相互作用をモデル化する。
MIMoE-FNDの階層構造は、異なる融合シナリオに適した異なる学習経路を可能にし、各モード相互作用のユニークな特性に適応する。
MIMoE-FNDは、様々なモダリティ相互作用シナリオに融合戦略を合わせることで、マルチモーダルフェイクニュース検出に対するより堅牢でニュアンスなアプローチを提供する。
2つの言語にまたがる3つの実世界のベンチマークに対する我々のアプローチを評価し、最先端の手法と比較して優れた性能を示す。
MIMoE-FNDは偽ニュース検出の精度と解釈可能性を高めることで、偽情報の拡散を緩和する有望なツールを提供し、脆弱なコミュニティをその有害な影響から保護する可能性を秘めている。
関連論文リスト
- MSynFD: Multi-hop Syntax aware Fake News Detection [27.046529059563863]
ソーシャルメディアプラットフォームは、偽ニュースを急速に拡散させ、われわれの現実社会に脅威を与えている。
既存の方法は、フェイクニュースの検出を強化するために、マルチモーダルデータまたはコンテキスト情報を使用する。
本稿では,偽ニュースの微妙なひねりに対処するための補完構文情報を含む,新しいマルチホップ構文認識型偽ニュース検出手法を提案する。
論文 参考訳（メタデータ） (2024-02-18T05:40:33Z) - From Text to Pixels: A Context-Aware Semantic Synergy Solution for
Infrared and Visible Image Fusion [66.33467192279514]
我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。
本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-31T08:13:47Z) - MMoE: Enhancing Multimodal Models with Mixtures of Multimodal Interaction Experts [92.76662894585809]
MMOE(Multimodal Mixtures of Experts)と呼ばれるマルチモーダルモデルの拡張手法を導入する。
MMoEは様々な種類のモデルに適用でき、改善できる。
論文 参考訳（メタデータ） (2023-11-16T05:31:21Z) - Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。
DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。
本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
論文 参考訳（メタデータ） (2023-09-25T15:05:46Z) - Re-mine, Learn and Reason: Exploring the Cross-modal Semantic
Correlations for Language-guided HOI detection [57.13665112065285]
ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。
本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-25T14:20:52Z) - Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。
MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
論文 参考訳（メタデータ） (2023-07-19T02:11:19Z) - Multi-modal Fake News Detection on Social Media via Multi-grained
Information Fusion [21.042970740577648]
偽ニュース検出のためのMMFN(Multi-fine Multi-modal Fusion Network)を提案する。
そこで我々は,トランスフォーマーを用いた事前学習モデルを用いて,テキストと画像からトークンレベルの特徴を符号化する。
マルチモーダルモジュールは、CLIPエンコーダでエンコードされた粗い機能を考慮して、きめ細かい機能をフューズする。
論文 参考訳（メタデータ） (2023-04-03T09:13:59Z) - Cross-modal Contrastive Learning for Multimodal Fake News Detection [10.760000041969139]
COOLANTはマルチモーダルフェイクニュース検出のためのクロスモーダルコントラスト学習フレームワークである。
クロスモーダル融合モジュールは、クロスモーダル相関を学習するために開発された。
アテンションガイダンスモジュールは、アライメントされたユニモーダル表現を効果的かつ解釈可能に集約するために実装される。
論文 参考訳（メタデータ） (2023-02-25T10:12:34Z) - Multimodal Fake News Detection with Adaptive Unimodal Representation
Aggregation [28.564442206829625]
AURAは、適応的な一助表現アグリゲーションを備えたマルチモーダルフェイクニュース検出ネットワークである。
我々は,一様および多様の表現に従って,粗いレベルの偽ニュース検出とクロスモーダルな共存学習を行う。
WeiboとGossipcopの実験は、AURAがいくつかの最先端のFNDスキームに勝つことを証明している。
論文 参考訳（メタデータ） (2022-06-12T14:06:55Z) - Adaptive Interaction Fusion Networks for Fake News Detection [12.459707991466168]
本稿では,偽ニュース検出機能間の相互干渉融合を実現するために,AIFN(Adaptive Interaction Fusion Networks)を提案する。
特徴関連性を確立するために,意味レベル融合自己注意ネットワーク(SFSN)を考案した。
実世界の2つのデータセットであるRumourEvalとPHEMEの実験では、AIFNが最先端のパフォーマンスを達成し、それぞれ2.05%以上と1.90%以上の精度を向上することを示した。
論文 参考訳（メタデータ） (2020-04-21T13:51:03Z) - Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。
特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。
本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
論文 参考訳（メタデータ） (2020-04-10T06:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。