論文の概要: Multimodal Fake News Detection with Adaptive Unimodal Representation
Aggregation
- arxiv url: http://arxiv.org/abs/2206.05741v1
- Date: Sun, 12 Jun 2022 14:06:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 07:51:39.850069
- Title: Multimodal Fake News Detection with Adaptive Unimodal Representation
Aggregation
- Title（参考訳）: 適応的一様表現集約を用いたマルチモーダルフェイクニュース検出
- Authors: Qichao Ying, Yangming Zhou, Zhenxing Qian, Dan Zeng and Shiming Ge
- Abstract要約: AURAは、適応的な一助表現アグリゲーションを備えたマルチモーダルフェイクニュース検出ネットワークである。
我々は,一様および多様の表現に従って,粗いレベルの偽ニュース検出とクロスモーダルな共存学習を行う。
WeiboとGossipcopの実験は、AURAがいくつかの最先端のFNDスキームに勝つことを証明している。
- 参考スコア（独自算出の注目度）: 28.564442206829625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of Internet technology has continuously intensified the
spread and destructive power of rumors and fake news. Previous researches on
multimedia fake news detection include a series of complex feature extraction
and fusion networks to achieve feature alignment between images and texts.
However, what the multimodal features are composed of and how features from
different modalities affect the decision-making process are still open
questions. We present AURA, a multimodal fake news detection network with
Adaptive Unimodal Representation Aggregation. We first extract representations
respectively from image pattern, image semantics and text, and multimodal
representations are generated by sending the semantic and linguistic
representations into an expert network. Then, we perform coarse-level fake news
detection and cross-modal cosistency learning according to the unimodal and
multimodal representations. The classification and consistency scores are
mapped into modality-aware attention scores that readjust the features.
Finally, we aggregation and classify the weighted features for refined fake
news detection. Comprehensive experiments on Weibo and Gossipcop prove that
AURA can successfully beat several state-of-the-art FND schemes, where the
overall prediction accuracy and the recall of fake news is steadily improved.
- Abstract（参考訳）: インターネット技術の発展は、噂や偽ニュースの拡散と破壊力を継続的に強化してきた。
マルチメディアフェイクニュース検出に関するこれまでの研究には、画像とテキスト間の機能アライメントを実現するための複雑な特徴抽出と融合ネットワークが含まれている。
しかし、マルチモーダルな機能が何で、異なるモダリティの機能が意思決定プロセスにどのように影響するかは、まだ疑問の余地がある。
本稿では,適応ユニモーダル表現集約を用いたマルチモーダルフェイクニュース検出ネットワークAURAを提案する。
まず、画像パターン、画像意味論、テキストからそれぞれ表現を抽出し、その意味表現と言語表現をエキスパートネットワークに送信してマルチモーダル表現を生成する。
そして,その一様および多様表現に従って,粗いレベルの偽ニュース検出とクロスモーダルな共存学習を行う。
分類と一貫性のスコアは、特徴を整理するモダリティ対応の注意スコアにマップされる。
最後に,修正された偽ニュース検出のための重み付け機能を集約し,分類する。
weiboとgossipcopに関する包括的な実験により、auraは最先端のfndスキームを打ち負かすことができ、全体的な予測精度と偽ニュースのリコールが着実に改善されている。
関連論文リスト
- MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages [0.4062349563818079]
Indic Fake News Detection (MMIFND) のためのマルチモーダル多言語データセットを提案する。
この厳密にキュレートされたデータセットは、ヒンディー語、ベンガル語、マラタイ語、マラヤラム語、タミル語、グジャラート語、パンジャービ語にまたがる28,085のインスタンスで構成されている。
フェイクニュース検出(MMCFND)のためのマルチモーダルキャプション対応フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-14T11:59:33Z) - Multi-modal Stance Detection: New Datasets and Model [56.97470987479277]
テキストと画像からなるツイートに対するマルチモーダル姿勢検出について検討する。
我々は、シンプルで効果的なマルチモーダル・プロンプト・チューニング・フレームワーク(TMPT)を提案する。
TMPTはマルチモーダル姿勢検出における最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-22T05:24:19Z) - MSynFD: Multi-hop Syntax aware Fake News Detection [27.046529059563863]
ソーシャルメディアプラットフォームは、偽ニュースを急速に拡散させ、われわれの現実社会に脅威を与えている。
既存の方法は、フェイクニュースの検出を強化するために、マルチモーダルデータまたはコンテキスト情報を使用する。
本稿では,偽ニュースの微妙なひねりに対処するための補完構文情報を含む,新しいマルチホップ構文認識型偽ニュース検出手法を提案する。
論文 参考訳（メタデータ） (2024-02-18T05:40:33Z) - Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。
DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。
本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
論文 参考訳（メタデータ） (2023-09-25T15:05:46Z) - Inconsistent Matters: A Knowledge-guided Dual-consistency Network for
Multi-modal Rumor Detection [53.48346699224921]
マルチメディアコンテンツによる噂を検出するために,知識誘導型二元整合ネットワークを提案する。
2つの一貫性検出ツールを使用して、クロスモーダルレベルとコンテント知識レベルの不整合を同時にキャプチャする。
また、異なる視覚的モダリティ条件下で頑健なマルチモーダル表現学習を可能にする。
論文 参考訳（メタデータ） (2023-06-03T15:32:20Z) - Multi-modal Fake News Detection on Social Media via Multi-grained
Information Fusion [21.042970740577648]
偽ニュース検出のためのMMFN(Multi-fine Multi-modal Fusion Network)を提案する。
そこで我々は,トランスフォーマーを用いた事前学習モデルを用いて,テキストと画像からトークンレベルの特徴を符号化する。
マルチモーダルモジュールは、CLIPエンコーダでエンコードされた粗い機能を考慮して、きめ細かい機能をフューズする。
論文 参考訳（メタデータ） (2023-04-03T09:13:59Z) - Cross-modal Contrastive Learning for Multimodal Fake News Detection [10.760000041969139]
COOLANTはマルチモーダルフェイクニュース検出のためのクロスモーダルコントラスト学習フレームワークである。
クロスモーダル融合モジュールは、クロスモーダル相関を学習するために開発された。
アテンションガイダンスモジュールは、アライメントされたユニモーダル表現を効果的かつ解釈可能に集約するために実装される。
論文 参考訳（メタデータ） (2023-02-25T10:12:34Z) - Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。
偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
論文 参考訳（メタデータ） (2022-11-25T18:24:17Z) - Multimodal Fake News Detection via CLIP-Guided Learning [26.093561485807832]
本稿では、FND-CLIPフレームワーク、すなわち、コントラスト言語-画像事前学習(CLIP)に基づくマルチモーダルフェイクニュース検出ネットワークを提案する。
対象とするマルチモーダルニュースから,ResNetベースのエンコーダ,BERTベースのエンコーダ,および2つのペアワイズCLIPエンコーダを用いて,画像とテキストから深層表現を抽出する。
マルチモーダル特徴は、2つのモーダルの標準化されたクロスモーダル類似性によって重み付けられたCLIP生成特徴の連結である。
論文 参考訳（メタデータ） (2022-05-28T02:43:18Z) - Cross-Media Keyphrase Prediction: A Unified Framework with
Multi-Modality Multi-Head Attention and Image Wordings [63.79979145520512]
マルチメディア投稿におけるキーワード予測におけるテキストと画像の併用効果について検討する。
複雑なマルチメディアインタラクションを捉えるために,M3H-Att(Multi-Modality Multi-Head Attention)を提案する。
我々のモデルは,従来の注目ネットワークに基づいて,過去の技術状況よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-11-03T08:44:18Z) - Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。
特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。
本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
論文 参考訳（メタデータ） (2020-04-10T06:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。