論文の概要: GAMED: Knowledge Adaptive Multi-Experts Decoupling for Multimodal Fake News Detection

• arxiv url: http://arxiv.org/abs/2412.12164v1
• Date: Wed, 11 Dec 2024 19:12:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:06.477755
• Title: GAMED: Knowledge Adaptive Multi-Experts Decoupling for Multimodal Fake News Detection
• Title（参考訳）: GAMED:マルチモーダルフェイクニュース検出のための知識適応型マルチエキスパートデカップリング
• Authors: Lingzhi Shen, Yunfei Long, Xiaohao Cai, Imran Razzak, Guanming Chen, Kang Liu, Shoaib Jameel,
• Abstract要約: マルチモーダルフェイクニュース検出は、視覚や言語などの異種データソースをモデル化することが多い。 本稿では,マルチモーダルモデリングのための GAMED を新たに開発する。 横断的なシナジーを強化するために、モーダルデカップリングを通じて特徴的で差別的な特徴を生み出すことに焦点を当てている。
• 参考スコア（独自算出の注目度）: 18.157900272828602
• License:
• Abstract: Multimodal fake news detection often involves modelling heterogeneous data sources, such as vision and language. Existing detection methods typically rely on fusion effectiveness and cross-modal consistency to model the content, complicating understanding how each modality affects prediction accuracy. Additionally, these methods are primarily based on static feature modelling, making it difficult to adapt to the dynamic changes and relationships between different data modalities. This paper develops a significantly novel approach, GAMED, for multimodal modelling, which focuses on generating distinctive and discriminative features through modal decoupling to enhance cross-modal synergies, thereby optimizing overall performance in the detection process. GAMED leverages multiple parallel expert networks to refine features and pre-embed semantic knowledge to improve the experts' ability in information selection and viewpoint sharing. Subsequently, the feature distribution of each modality is adaptively adjusted based on the respective experts' opinions. GAMED also introduces a novel classification technique to dynamically manage contributions from different modalities, while improving the explainability of decisions. Experimental results on the Fakeddit and Yang datasets demonstrate that GAMED performs better than recently developed state-of-the-art models. The source code can be accessed at https://github.com/slz0925/GAMED.
• Abstract（参考訳）: マルチモーダルフェイクニュース検出は、視覚や言語などの異種データソースをモデル化することが多い。 既存の検出方法は、通常、コンテンツのモデル化に融合効率とクロスモーダル整合性に依存し、各モーダリティが予測精度にどのように影響するかを理解する。 さらに、これらの手法は主に静的な特徴モデリングに基づいており、動的変化や異なるデータモダリティ間の関係に適応することが困難である。 本稿では,モーダルデカップリングによる識別的特徴と識別的特徴の創出に焦点を当てたマルチモーダルモデリングのためのGAMEDを新たに開発し,クロスモーダルのシナジーを向上し,検出過程における全体的な性能を最適化する。 GAMEDは複数の並列専門家ネットワークを活用して特徴を洗練し、セマンティック知識を組み込んで情報選択と視点共有における専門家の能力を向上させる。 その後、各専門家の意見に基づいて各モダリティの特徴分布を適応的に調整する。 GAMEDはまた、異なるモダリティからのコントリビューションを動的に管理する新しい分類手法を導入し、意思決定の説明可能性を改善した。 FakedditとYangのデータセットの実験結果は、GAMEDが最近開発された最先端モデルよりも優れていることを示している。 ソースコードはhttps://github.com/slz0925/GAMEDでアクセスできる。

関連論文リスト

• DiffMM: Multi-Modal Diffusion Model for Recommendation [19.43775593283657]
  DiffMMと呼ばれる新しいマルチモーダルグラフ拡散モデルを提案する。 本フレームワークは,モダリティを意識したグラフ拡散モデルとクロスモーダルコントラスト学習パラダイムを統合し,モダリティを意識したユーザ表現学習を改善する。
  論文  参考訳（メタデータ） (2024-06-17T17:35:54Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
  本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。 共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
  論文  参考訳（メタデータ） (2022-12-19T23:50:19Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。