論文の概要: Cross-Modal Augmentation for Few-Shot Multimodal Fake News Detection
- arxiv url: http://arxiv.org/abs/2407.12880v1
- Date: Tue, 16 Jul 2024 09:32:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 19:52:52.683970
- Title: Cross-Modal Augmentation for Few-Shot Multimodal Fake News Detection
- Title(参考訳): Few-Shot Multimodal Fake News 検出のためのクロスモーダル拡張
- Authors: Ye Jiang, Taihang Wang, Xiaoman Xu, Yimin Wang, Xingyi Song, Diana Maynard,
- Abstract要約: フェイクニュースを早期に検出するためには、ほとんどショットラーニングが重要である。
本稿では,一様特徴を用いたマルチモーダル特徴を付加したマルチモーダルフェイクニュース検出モデルを提案する。
提案したCMAは3つのベンチマークデータセット上でSOTA結果を達成する。
- 参考スコア(独自算出の注目度): 0.21990652930491858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The nascent topic of fake news requires automatic detection methods to quickly learn from limited annotated samples. Therefore, the capacity to rapidly acquire proficiency in a new task with limited guidance, also known as few-shot learning, is critical for detecting fake news in its early stages. Existing approaches either involve fine-tuning pre-trained language models which come with a large number of parameters, or training a complex neural network from scratch with large-scale annotated datasets. This paper presents a multimodal fake news detection model which augments multimodal features using unimodal features. For this purpose, we introduce Cross-Modal Augmentation (CMA), a simple approach for enhancing few-shot multimodal fake news detection by transforming n-shot classification into a more robust (n $\times$ z)-shot problem, where z represents the number of supplementary features. The proposed CMA achieves SOTA results over three benchmark datasets, utilizing a surprisingly simple linear probing method to classify multimodal fake news with only a few training samples. Furthermore, our method is significantly more lightweight than prior approaches, particularly in terms of the number of trainable parameters and epoch times. The code is available here: \url{https://github.com/zgjiangtoby/FND_fewshot}
- Abstract(参考訳): 偽ニュースの初期段階のトピックは、限られた注釈付きサンプルから素早く学習する自動検出方法を必要とする。
そのため,早期のフェイクニュースの検出には,限られた指導力,あるいは少数ショットラーニング(英語版)としても知られる新しいタスクにおいて,急速に習熟する能力が不可欠である。
既存のアプローチでは、多数のパラメータを伴ってトレーニング済みの言語モデルを微調整するか、大規模な注釈付きデータセットでスクラッチから複雑なニューラルネットワークをトレーニングする。
本稿では,一様特徴を用いたマルチモーダル特徴を付加したマルチモーダルフェイクニュース検出モデルを提案する。
この目的のために,Nショット分類をより堅牢な (n $\times$ z) ショット問題に変換することで,マルチモーダルな複数モーダルな偽ニュースの検出を簡易に行うCMA(Cross-Modal Augmentation)を導入する。
提案したCMAは3つのベンチマークデータセット上でSOTA結果を達成し、驚くほど単純な線形探索法を用いて、少数のトレーニングサンプルでマルチモーダルフェイクニュースを分類する。
さらに,本手法は従来手法よりもはるかに軽量であり,特に訓練可能なパラメータの数やエポック時間の観点からも顕著である。
コードはここで入手できる。 \url{https://github.com/zgjiangtoby/FND_fewshot}
関連論文リスト
- Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳(メタデータ) (2024-02-27T14:21:56Z) - Similarity-Aware Multimodal Prompt Learning for Fake News Detection [0.12396474483677114]
マルチモーダルフェイクニュース検出は、テキストのみの方法よりも優れています。
本稿では,Simisity-Aware Multimodal Prompt Learning (SAMPLE) フレームワークを提案する。
評価のために、SAMPLEはF1と以前の2つのベンチマークマルチモーダルデータセットの精度を上回っている。
論文 参考訳(メタデータ) (2023-04-09T08:10:05Z) - Cross-modal Contrastive Learning for Multimodal Fake News Detection [10.760000041969139]
COOLANTはマルチモーダルフェイクニュース検出のためのクロスモーダルコントラスト学習フレームワークである。
クロスモーダル融合モジュールは、クロスモーダル相関を学習するために開発された。
アテンションガイダンスモジュールは、アライメントされたユニモーダル表現を効果的かつ解釈可能に集約するために実装される。
論文 参考訳(メタデータ) (2023-02-25T10:12:34Z) - Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文 参考訳(メタデータ) (2023-02-02T15:49:03Z) - Multimodal Fake News Detection via CLIP-Guided Learning [26.093561485807832]
本稿では、FND-CLIPフレームワーク、すなわち、コントラスト言語-画像事前学習(CLIP)に基づくマルチモーダルフェイクニュース検出ネットワークを提案する。
対象とするマルチモーダルニュースから,ResNetベースのエンコーダ,BERTベースのエンコーダ,および2つのペアワイズCLIPエンコーダを用いて,画像とテキストから深層表現を抽出する。
マルチモーダル特徴は、2つのモーダルの標準化されたクロスモーダル類似性によって重み付けられたCLIP生成特徴の連結である。
論文 参考訳(メタデータ) (2022-05-28T02:43:18Z) - Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain,
Active and Continual Few-Shot Learning [41.07029317930986]
低ラベル方式で動作するモデルの分散感応クラスを提案する。
最初の手法であるSimple CNAPSは階層的に正規化されたマハラノビス距離に基づく分類器を用いる。
我々はさらに、このアプローチをトランスダクティブ学習環境に拡張し、トランスダクティブCNAPSを提案する。
論文 参考訳(メタデータ) (2022-01-13T18:59:02Z) - Few-shot Weakly-Supervised Object Detection via Directional Statistics [55.97230224399744]
少数ショットコモンオブジェクトローカライゼーション(COL)と少数ショット弱監視オブジェクト検出(WSOD)のための確率論的多重インスタンス学習手法を提案する。
本モデルでは,新しいオブジェクトの分布を同時に学習し,期待-最大化ステップにより局所化する。
提案手法は, 単純であるにもかかわらず, 少数のCOLとWSOD, 大規模WSODタスクにおいて, 高いベースラインを達成できることを示す。
論文 参考訳(メタデータ) (2021-03-25T22:34:16Z) - Discriminative Nearest Neighbor Few-Shot Intent Detection by
Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。
深部自己注意を伴う識別的近傍分類を提示する。
自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文 参考訳(メタデータ) (2020-10-25T00:39:32Z) - Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。
FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。
MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
論文 参考訳(メタデータ) (2020-07-18T09:48:29Z) - Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。
このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
論文 参考訳(メタデータ) (2020-03-16T00:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。