論文の概要: MDF: A Dynamic Fusion Model for Multi-modal Fake News Detection

• arxiv url: http://arxiv.org/abs/2406.19776v1
• Date: Fri, 28 Jun 2024 09:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 21:11:20.705467
• Title: MDF: A Dynamic Fusion Model for Multi-modal Fake News Detection
• Title（参考訳）: MDF:マルチモーダルフェイクニュース検出のための動的融合モデル
• Authors: Hongzhen Lv, Wenzhong Yang, Fuyuan Wei, Jiaren Peng, Haokun Geng,
• Abstract要約: フェイクニュース検出のためのMDFと呼ばれる新しい動的融合フレームワークを提案する。 本モデルは,(1)モーダル内不確実性をモデル化するためのマルチヘッドアテンション機構を用いた不確実性モデリングモジュールとしてのUEM,(2)DFNは2つのモーダルの重みを動的に融合させるD-Sエビデンス理論に基づく動的融合モジュールである。
• 参考スコア（独自算出の注目度）: 0.41942958779358674
• License:
• Abstract: Fake news detection has received increasing attention from researchers in recent years, especially multi-modal fake news detection containing both text and images. However, many previous works have fed two modal features, text and image, into a binary classifier after a simple concatenation or attention mechanism, in which the features contain a large amount of noise inherent in the data,which in turn leads to intra- and inter-modal uncertainty. In addition, although many methods based on simply splicing two modalities have achieved more prominent results, these methods ignore the drawback of holding fixed weights across modalities, which would lead to some features with higher impact factors being ignored. To alleviate the above problems, we propose a new dynamic fusion framework dubbed MDF for fake news detection. As far as we know, it is the first attempt of dynamic fusion framework in the field of fake news detection. Specifically, our model consists of two main components:(1) UEM as an uncertainty modeling module employing a multi-head attention mechanism to model intra-modal uncertainty; and (2) DFN is a dynamic fusion module based on D-S evidence theory for dynamically fusing the weights of two modalities, text and image. In order to present better results for the dynamic fusion framework, we use GAT for inter-modal uncertainty and weight modeling before DFN. Extensive experiments on two benchmark datasets demonstrate the effectiveness and superior performance of the MDF framework. We also conducted a systematic ablation study to gain insight into our motivation and architectural design. We make our model publicly available to:https://github.com/CoisiniStar/MDF
• Abstract（参考訳）: 近年、フェイクニュース検出は研究者から注目を集めており、特にテキストと画像の両方を含むマルチモーダルフェイクニュース検出が注目されている。 しかし、従来の多くの研究は、単純な結合または注意機構の後に2つのモーダルな特徴であるテキストとイメージをバイナリ分類器に供給し、その特徴にはデータに固有の大量のノイズが含まれており、それによってモーダル内およびモーダル間不確実性をもたらす。 さらに、単純に2つのモードをスプライシングすることに基づく多くの手法はより顕著な結果を得たが、これらの手法は、モーダルをまたいだ固定重みを保持するという欠点を無視し、より高い影響要因が無視されるようないくつかの特徴をもたらす。 上記の問題を緩和するため、偽ニュース検出のためのMDFと呼ばれる新しい動的融合フレームワークを提案する。 私たちが知る限りでは、フェイクニュース検出の分野における動的融合フレームワークの最初の試みである。 具体的には,(1)モーダル内不確実性をモデル化するためのマルチヘッドアテンション機構を用いた不確実性モデリングモジュールとしてのUEM,(2)DFNは2つのモーダルの重みを動的に融合させるD-Sエビデンス理論に基づく動的融合モジュールである。 動的核融合フレームワークのより良い結果を示すため,DFN 以前のモーダル間不確実性と重みモデリングに GAT を用いる。 2つのベンチマークデータセットに対する大規模な実験は、MDFフレームワークの有効性と優れた性能を示している。 私たちはまた、モチベーションとアーキテクチャ設計に関する洞察を得るために、体系的なアブレーション研究も行いました。 私たちのモデルは、https://github.com/CoisiniStar/MDFで公開しています。

関連論文リスト

• A Novel Energy based Model Mechanism for Multi-modal Aspect-Based Sentiment Analysis [85.77557381023617]
  マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。 PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。 EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
  論文  参考訳（メタデータ） (2023-12-13T12:00:46Z)
• Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
  マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。 DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。 本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T15:05:46Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
  既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。 内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:57Z)
• Exploring Multimodal Sentiment Analysis via CBAM Attention and Double-layer BiLSTM Architecture [3.9850392954445875]
  本モデルでは,文中の長距離依存関係を抽出するためにBERT + BiLSTM を用いる。 余分な情報を除去するために、テキスト特徴と画像特徴をスプライシングした後、CNNとCBAMの注意を追加する。 実験結果から,従来のモデルと同様の音響効果が得られた。
  論文  参考訳（メタデータ） (2023-03-26T12:34:01Z)
• Cross-modal Contrastive Learning for Multimodal Fake News Detection [10.760000041969139]
  COOLANTはマルチモーダルフェイクニュース検出のためのクロスモーダルコントラスト学習フレームワークである。 クロスモーダル融合モジュールは、クロスモーダル相関を学習するために開発された。 アテンションガイダンスモジュールは、アライメントされたユニモーダル表現を効果的かつ解釈可能に集約するために実装される。
  論文  参考訳（メタデータ） (2023-02-25T10:12:34Z)
• Team Triple-Check at Factify 2: Parameter-Efficient Large Foundation Models with Feature Representations for Multi-Modal Fact Verification [5.552606716659022]
  ソーシャルメディアでは、マルチモーダルな事実検証が重要だが難しい問題となっている。 本稿では,細粒度テキストと照明パラメータを用いた入力埋め込みをモデル化するためのPre-CoFactv2フレームワークを提案する。 AAAI 2023のFactifyチャレンジにおいて,Pre-CoFactv2がPre-CoFactを大きなマージンで上回り,新たな最先端の成果を得たことを示す。
  論文  参考訳（メタデータ） (2023-02-12T18:08:54Z)
• MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
  マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。 人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。 本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-24T17:48:04Z)
• Fusion with Hierarchical Graphs for Mulitmodal Emotion Recognition [7.147235324895931]
  本稿では,より情報に富んだマルチモーダル表現を学習する階層型グラフネットワーク(HFGCN)モデルを提案する。 具体的には,2段階グラフ構築手法を用いてマルチモーダル入力を融合し,モダリティ依存性を会話表現にエンコードする。 実験により,より正確なAERモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-15T08:21:01Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。