論文の概要: Similarity-Aware Multimodal Prompt Learning for Fake News Detection
- arxiv url: http://arxiv.org/abs/2304.04187v1
- Date: Sun, 9 Apr 2023 08:10:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 17:09:39.816737
- Title: Similarity-Aware Multimodal Prompt Learning for Fake News Detection
- Title（参考訳）: ファクトニュース検出のための類似性を考慮したマルチモーダルプロンプト学習
- Authors: Ye Jiang, Xiaomin Yu, Yimin Wang, Xiaoman Xu, Xingyi Song and Diana
Maynard
- Abstract要約: マルチモーダルフェイクニュース検出は、テキストのみの方法よりも優れています。
本稿では,Simisity-Aware Multimodal Prompt Learning (SAMPLE) フレームワークを提案する。
評価のために、SAMPLEはF1と以前の2つのベンチマークマルチモーダルデータセットの精度を上回っている。
- 参考スコア（独自算出の注目度）: 0.12396474483677114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The standard paradigm for fake news detection mainly utilizes text
information to model the truthfulness of news. However, the discourse of online
fake news is typically subtle and it requires expert knowledge to use textual
information to debunk fake news. Recently, studies focusing on multimodal fake
news detection have outperformed text-only methods. Recent approaches utilizing
the pre-trained model to extract unimodal features, or fine-tuning the
pre-trained model directly, have become a new paradigm for detecting fake news.
Again, this paradigm either requires a large number of training instances, or
updates the entire set of pre-trained model parameters, making real-world fake
news detection impractical. Furthermore, traditional multimodal methods fuse
the cross-modal features directly without considering that the uncorrelated
semantic representation might inject noise into the multimodal features. This
paper proposes a Similarity-Aware Multimodal Prompt Learning (SAMPLE)
framework. First, we incorporate prompt learning into multimodal fake news
detection. Prompt learning, which only tunes prompts with a frozen language
model, can reduce memory usage significantly and achieve comparable
performances, compared with fine-tuning. We analyse three prompt templates with
a soft verbalizer to detect fake news. In addition, we introduce the
similarity-aware fusing method to adaptively fuse the intensity of multimodal
representation and mitigate the noise injection via uncorrelated cross-modal
features. For evaluation, SAMPLE surpasses the F1 and the accuracies of
previous works on two benchmark multimodal datasets, demonstrating the
effectiveness of the proposed method in detecting fake news. In addition,
SAMPLE also is superior to other approaches regardless of few-shot and
data-rich settings.
- Abstract（参考訳）: 偽ニュース検出の標準パラダイムは、主にテキスト情報を用いてニュースの真偽をモデル化する。
しかし、オンラインフェイクニュースの言説は典型的には微妙であり、専門家は偽ニュースを解読するためにテキスト情報を使う必要がある。
近年,マルチモーダルフェイクニュース検出に注目する研究が,テキストのみの手法を上回っている。
事前学習モデルを用いたユニモーダルな特徴抽出や事前学習モデルを直接微調整するという最近のアプローチは、偽ニュースを検出する新しいパラダイムとなっている。
繰り返しになるが、このパラダイムは大量のトレーニングインスタンスを必要とするか、事前訓練されたモデルのパラメータセット全体を更新する。
さらに、従来のマルチモーダル手法は、非相関な意味表現がマルチモーダル特徴にノイズを注入する可能性を考慮せずに、クロスモーダル特徴を直接融合する。
本稿では,Simisity-Aware Multimodal Prompt Learning (SAMPLE)フレームワークを提案する。
まず,マルチモーダルな偽ニュース検出に即時学習を取り入れた。
プロンプトのみを凍った言語モデルでチューニングするプロンプト学習は、メモリ使用量を大幅に削減し、微調整と比較して同等のパフォーマンスを達成することができる。
我々は3つのプロンプトテンプレートをソフトな言葉遣いで分析し、偽ニュースを検出する。
さらに,マルチモーダル表現の強度を適応的に融合させ,非相関なクロスモーダル特徴によるノイズインジェクションを緩和する類似性認識fusing法を提案する。
評価のために、SAMPLEは2つのベンチマークマルチモーダルデータセットにおけるF1および以前の研究の精度を上回り、偽ニュースを検出する方法の有効性を実証した。
さらにSAMPLEは、少数ショットやデータリッチな設定に関わらず、他のアプローチよりも優れている。
関連論文リスト
- VMID: A Multimodal Fusion LLM Framework for Detecting and Identifying Misinformation of Short Videos [14.551693267228345]
本稿では,マルチモーダル情報に基づく新しいフェイクニュース検出手法を提案する。
提案フレームワークは,ビデオにマルチモーダル機能を組み込むことで,偽ニュース検出の精度と信頼性を大幅に向上させる。
論文 参考訳（メタデータ） (2024-11-15T08:20:26Z) - Cross-Modal Augmentation for Few-Shot Multimodal Fake News Detection [0.21990652930491858]
フェイクニュースを早期に検出するためには、ほとんどショットラーニングが重要である。
本稿では,一様特徴を用いたマルチモーダル特徴を付加したマルチモーダルフェイクニュース検出モデルを提案する。
提案したCMAは3つのベンチマークデータセット上でSOTA結果を達成する。
論文 参考訳（メタデータ） (2024-07-16T09:32:11Z) - Fake News Detection and Manipulation Reasoning via Large Vision-Language Models [38.457805116130004]
本稿では,Human-centric and Fact-related Fake News(HFFN)と呼ばれる偽ニュースの検出と操作の推論のためのベンチマークを紹介する。
このベンチマークでは、詳細なマニュアルアノテーションによって、人間の中心性と、高い事実的関連性を強調している。
M-DRUM(Multi-modal News Detection and Reasoning langUage Model)が提示される。
論文 参考訳（メタデータ） (2024-07-02T08:16:43Z) - FineFake: A Knowledge-Enriched Dataset for Fine-Grained Multi-Domain Fake News Detection [54.37159298632628]
FineFakeは、フェイクニュース検出のためのマルチドメイン知識強化ベンチマークである。
FineFakeは6つのセマンティックトピックと8つのプラットフォームにまたがる16,909のデータサンプルを含んでいる。
FineFakeプロジェクト全体がオープンソースリポジトリとして公開されている。
論文 参考訳（メタデータ） (2024-03-30T14:39:09Z) - MSynFD: Multi-hop Syntax aware Fake News Detection [27.046529059563863]
ソーシャルメディアプラットフォームは、偽ニュースを急速に拡散させ、われわれの現実社会に脅威を与えている。
既存の方法は、フェイクニュースの検出を強化するために、マルチモーダルデータまたはコンテキスト情報を使用する。
本稿では,偽ニュースの微妙なひねりに対処するための補完構文情報を含む,新しいマルチホップ構文認識型偽ニュース検出手法を提案する。
論文 参考訳（メタデータ） (2024-02-18T05:40:33Z) - Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News
Detection [50.07850264495737]
プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。
我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
論文 参考訳（メタデータ） (2023-09-28T13:19:43Z) - Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。
DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。
本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
論文 参考訳（メタデータ） (2023-09-25T15:05:46Z) - Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。
偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
論文 参考訳（メタデータ） (2022-11-25T18:24:17Z) - Towards Fast Adaptation of Pretrained Contrastive Models for
Multi-channel Video-Language Retrieval [70.30052749168013]
マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。
対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。
これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
論文 参考訳（メタデータ） (2022-06-05T01:43:52Z) - Multi-Modal Few-Shot Object Detection with Meta-Learning-Based
Cross-Modal Prompting [77.69172089359606]
本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。
我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。
提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
論文 参考訳（メタデータ） (2022-04-16T16:45:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。