論文の概要: Multi-modal Fake News Detection on Social Media via Multi-grained Information Fusion

• arxiv url: http://arxiv.org/abs/2304.00827v1
• Date: Mon, 3 Apr 2023 09:13:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 15:57:17.736337
• Title: Multi-modal Fake News Detection on Social Media via Multi-grained Information Fusion
• Title（参考訳）: 多品位情報融合によるソーシャルメディア上のマルチモーダルフェイクニュース検出
• Authors: Yangming Zhou, Yuzhou Yang, Qichao Ying, Zhenxing Qian and Xinpeng Zhang
• Abstract要約: 偽ニュース検出のためのMMFN(Multi-fine Multi-modal Fusion Network)を提案する。 そこで我々は,トランスフォーマーを用いた事前学習モデルを用いて,テキストと画像からトークンレベルの特徴を符号化する。 マルチモーダルモジュールは、CLIPエンコーダでエンコードされた粗い機能を考慮して、きめ細かい機能をフューズする。
• 参考スコア（独自算出の注目度）: 21.042970740577648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The easy sharing of multimedia content on social media has caused a rapid dissemination of fake news, which threatens society's stability and security. Therefore, fake news detection has garnered extensive research interest in the field of social forensics. Current methods primarily concentrate on the integration of textual and visual features but fail to effectively exploit multi-modal information at both fine-grained and coarse-grained levels. Furthermore, they suffer from an ambiguity problem due to a lack of correlation between modalities or a contradiction between the decisions made by each modality. To overcome these challenges, we present a Multi-grained Multi-modal Fusion Network (MMFN) for fake news detection. Inspired by the multi-grained process of human assessment of news authenticity, we respectively employ two Transformer-based pre-trained models to encode token-level features from text and images. The multi-modal module fuses fine-grained features, taking into account coarse-grained features encoded by the CLIP encoder. To address the ambiguity problem, we design uni-modal branches with similarity-based weighting to adaptively adjust the use of multi-modal features. Experimental results demonstrate that the proposed framework outperforms state-of-the-art methods on three prevalent datasets.
• Abstract（参考訳）: ソーシャルメディア上でのマルチメディアコンテンツの共有が容易になったことで、フェイクニュースが急速に拡散し、社会の安定と安全を脅かしている。 そのため、偽ニュース検出は社会科学の分野で幅広い研究の関心を集めている。 現在の手法は主にテキストと視覚的特徴の統合に集中しているが、細粒度と粗粒度の両方で効果的にマルチモーダル情報を活用できない。 さらに、モダリティ間の相関の欠如や、各モダリティによってなされた決定の矛盾により、曖昧な問題に苦しむ。 これらの課題を克服するため,偽ニュース検出のためのMMFN(Multi-fine Multi-modal Fusion Network)を提案する。 ニュースの真正性を評価する多面的プロセスに着想を得て,テキストと画像からトークンレベルの特徴を符号化するために,トランスフォーマティブをベースとする2つの事前学習モデルを用いた。 マルチモーダルモジュールは、CLIPエンコーダでエンコードされた粗い機能を考慮して、きめ細かい機能をフューズする。 あいまいさ問題に対処するため、類似度に基づく重み付けによる一様分岐を設計し、マルチモーダル特徴の利用を適応的に調整する。 実験の結果,提案手法は3つの有意なデータセット上で,最先端の手法よりも優れていた。

関連論文リスト

• Detecting Misinformation in Multimedia Content through Cross-Modal Entity Consistency: A Dual Learning Approach [10.376378437321437]
  クロスモーダルなエンティティの整合性を利用して、ビデオコンテンツから誤情報を検出するためのマルチメディア誤情報検出フレームワークを提案する。 以上の結果から,MultiMDは最先端のベースラインモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-16T16:14:36Z)
• Adaptive Learning of Consistency and Inconsistency Information for Fake News Detection [28.718460312783257]
  偽ニュースを検出するために,適応型マルチモーダル機能融合ネットワーク(MFF-Net)を提案する。 MFF-Netは複数の機能融合モジュールを通じてモード間の整合性情報を学習する。 実際のソーシャルメディアから派生した3つの公開ニュースデータセットにおいて、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-15T08:22:10Z)
• Multi-modal Crowd Counting via a Broker Modality [64.5356816448361]
  マルチモーダルな群衆カウントは、視覚画像と熱/深度画像の両方から群衆密度を推定する。 本稿では,補助的ブローカーのモダリティを導入し,そのタスクを3つのモーダル学習問題とする新しい手法を提案する。 我々はこのブローカーのモダリティを生成するための融合法を考案し、近代的な拡散に基づく核融合モデルの非拡散的軽量化を生かした。
  論文  参考訳（メタデータ） (2024-07-10T10:13:11Z)
• Multimodal Fusion on Low-quality Data: A Comprehensive Survey [110.22752954128738]
  本稿では,野生におけるマルチモーダル核融合の共通課題と最近の進歩について考察する。 低品質データ上でのマルチモーダル融合で直面する4つの主な課題を同定する。 この新たな分類によって、研究者はフィールドの状態を理解し、いくつかの潜在的な方向を特定することができる。
  論文  参考訳（メタデータ） (2024-04-27T07:22:28Z)
• Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
  マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。 DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。 本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T15:05:46Z)
• Inconsistent Matters: A Knowledge-guided Dual-consistency Network for Multi-modal Rumor Detection [53.48346699224921]
  マルチメディアコンテンツによる噂を検出するために,知識誘導型二元整合ネットワークを提案する。 2つの一貫性検出ツールを使用して、クロスモーダルレベルとコンテント知識レベルの不整合を同時にキャプチャする。 また、異なる視覚的モダリティ条件下で頑健なマルチモーダル表現学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-03T15:32:20Z)
• Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
  動的マルチモーダル融合は、有望な学習パラダイムとして現れる。 広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。 本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。 QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T08:32:35Z)
• Cross-modal Contrastive Learning for Multimodal Fake News Detection [10.760000041969139]
  COOLANTはマルチモーダルフェイクニュース検出のためのクロスモーダルコントラスト学習フレームワークである。 クロスモーダル融合モジュールは、クロスモーダル相関を学習するために開発された。 アテンションガイダンスモジュールは、アライメントされたユニモーダル表現を効果的かつ解釈可能に集約するために実装される。
  論文  参考訳（メタデータ） (2023-02-25T10:12:34Z)
• Multimodal Fake News Detection with Adaptive Unimodal Representation Aggregation [28.564442206829625]
  AURAは、適応的な一助表現アグリゲーションを備えたマルチモーダルフェイクニュース検出ネットワークである。 我々は,一様および多様の表現に従って,粗いレベルの偽ニュース検出とクロスモーダルな共存学習を行う。 WeiboとGossipcopの実験は、AURAがいくつかの最先端のFNDスキームに勝つことを証明している。
  論文  参考訳（メタデータ） (2022-06-12T14:06:55Z)
• Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
  本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。 特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。 本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-04-10T06:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。