論文の概要: MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages
- arxiv url: http://arxiv.org/abs/2410.10407v1
- Date: Mon, 14 Oct 2024 11:59:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 21:44:49.449507
- Title: MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages
- Title（参考訳）: MMCFND:低リソースインデックス言語のためのマルチモーダル多言語キャプション対応フェイクニュース検出
- Authors: Shubhi Bansal, Nishit Sushil Singh, Shahid Shafi Dar, Nagendra Kumar,
- Abstract要約: Indic Fake News Detection (MMIFND) のためのマルチモーダル多言語データセットを提案する。
この厳密にキュレートされたデータセットは、ヒンディー語、ベンガル語、マラタイ語、マラヤラム語、タミル語、グジャラート語、パンジャービ語にまたがる28,085のインスタンスで構成されている。
フェイクニュース検出(MMCFND)のためのマルチモーダルキャプション対応フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.4062349563818079
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread dissemination of false information through manipulative tactics that combine deceptive text and images threatens the integrity of reliable sources of information. While there has been research on detecting fake news in high resource languages using multimodal approaches, methods for low resource Indic languages primarily rely on textual analysis. This difference highlights the need for robust methods that specifically address multimodal fake news in Indic languages, where the lack of extensive datasets and tools presents a significant obstacle to progress. To this end, we introduce the Multimodal Multilingual dataset for Indic Fake News Detection (MMIFND). This meticulously curated dataset consists of 28,085 instances distributed across Hindi, Bengali, Marathi, Malayalam, Tamil, Gujarati and Punjabi. We further propose the Multimodal Multilingual Caption-aware framework for Fake News Detection (MMCFND). MMCFND utilizes pre-trained unimodal encoders and pairwise encoders from a foundational model that aligns vision and language, allowing for extracting deep representations from visual and textual components of news articles. The multimodal fusion encoder in the foundational model integrates text and image representations derived from its pairwise encoders to generate a comprehensive cross modal representation. Furthermore, we generate descriptive image captions that provide additional context to detect inconsistencies and manipulations. The retrieved features are then fused and fed into a classifier to determine the authenticity of news articles. The curated dataset can potentially accelerate research and development in low resource environments significantly. Thorough experimentation on MMIFND demonstrates that our proposed framework outperforms established methods for extracting relevant fake news detection features.
- Abstract（参考訳）: 偽のテキストと画像を組み合わせた操作戦術による偽情報の拡散は、信頼できる情報源の整合性を脅かす。
マルチモーダルアプローチを用いた高資源言語における偽ニュースの検出に関する研究は行われているが、低リソースのIndic言語のための手法は主にテキスト解析に依存している。
この違いは、Indic言語におけるマルチモーダルフェイクニュースに対処する堅牢なメソッドの必要性を強調している。
そこで本研究では,MMIFND(Indic Fake News Detection)のためのマルチモーダル多言語データセットを提案する。
この厳密にキュレートされたデータセットは、ヒンディー語、ベンガル語、マラタイ語、マラヤラム語、タミル語、グジャラート語、パンジャービ語にまたがる28,085のインスタンスで構成されている。
さらに,Fake News Detection (MMCFND) のためのマルチモーダル多言語対応フレームワークを提案する。
MMCFNDは、未学習の単調エンコーダとペアエンコーダを、視覚と言語を整合させた基礎モデルから利用し、ニュース記事の視覚的およびテキスト的コンポーネントから深い表現を抽出することができる。
基本モデルのマルチモーダル融合エンコーダは、そのペアエンコーダから派生したテキストと画像表現を統合し、包括的なクロスモーダル表現を生成する。
さらに、不整合や操作を検出するための追加のコンテキストを提供する記述的な画像キャプションを生成する。
検索した特徴を融合して分類器に入力し、ニュース記事の真正性を決定する。
キュレートされたデータセットは、低リソース環境における研究と開発を著しく加速させる可能性がある。
MMIFNDの詳細な実験により,提案手法は偽ニュース検出機能を抽出するための確立された手法よりも優れていることが示された。
関連論文リスト
- TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild [102.93338424976959]
マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。
提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。
そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
論文 参考訳（メタデータ） (2023-09-14T15:34:01Z) - Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object
Detection [72.36017150922504]
教師の融合変換器から学生検出器へ学習した文脈知識を伝達するためのマルチモーダルな文脈知識蒸留フレームワーク MMC-Det を提案する。
多様なマルチモーダルマスキング言語モデリングは、従来のマルチモーダルマスキング言語モデリング(MLM)に基づくオブジェクト分散制約により実現される。
論文 参考訳（メタデータ） (2023-08-30T08:33:13Z) - Similarity-Aware Multimodal Prompt Learning for Fake News Detection [0.12396474483677114]
マルチモーダルフェイクニュース検出は、テキストのみの方法よりも優れています。
本稿では,Simisity-Aware Multimodal Prompt Learning (SAMPLE) フレームワークを提案する。
評価のために、SAMPLEはF1と以前の2つのベンチマークマルチモーダルデータセットの精度を上回っている。
論文 参考訳（メタデータ） (2023-04-09T08:10:05Z) - TextMI: Textualize Multimodal Information for Integrating Non-verbal
Cues in Pre-trained Language Models [5.668457303716451]
マルチモーダルな行動分析タスクのための汎用的,競争的なベースラインとして,TextMIを提案する。
我々のアプローチは、モデルの複雑さを著しく減らし、モデルの判断に解釈可能性を追加し、様々なタスクに適用できます。
論文 参考訳（メタデータ） (2023-03-27T17:54:32Z) - Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。
偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
論文 参考訳（メタデータ） (2022-11-25T18:24:17Z) - Cross-Lingual Cross-Modal Retrieval with Noise-Robust Learning [25.230786853723203]
低リソース言語に対するノイズローバストな言語間クロスモーダル検索手法を提案する。
低リソース言語のための擬似並列文ペアを構築するために,機械翻訳を用いる。
ノイズロスのターゲット言語表現を学習するための多視点自己蒸留法を提案する。
論文 参考訳（メタデータ） (2022-08-26T09:32:24Z) - Multimodal Fake News Detection with Adaptive Unimodal Representation
Aggregation [28.564442206829625]
AURAは、適応的な一助表現アグリゲーションを備えたマルチモーダルフェイクニュース検出ネットワークである。
我々は,一様および多様の表現に従って,粗いレベルの偽ニュース検出とクロスモーダルな共存学習を行う。
WeiboとGossipcopの実験は、AURAがいくつかの最先端のFNDスキームに勝つことを証明している。
論文 参考訳（メタデータ） (2022-06-12T14:06:55Z) - Reinforced Iterative Knowledge Distillation for Cross-Lingual Named
Entity Recognition [54.92161571089808]
言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。
既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。
半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
論文 参考訳（メタデータ） (2021-06-01T05:46:22Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳（メタデータ） (2020-09-10T22:42:15Z) - Language Guided Networks for Cross-modal Moment Retrieval [66.49445903955777]
モーダルモーダルモーメント検索は、自然言語クエリによって記述された未編集ビデオから時間セグメントをローカライズすることを目的としている。
既存の手法は、ビデオや文の特徴を独立して抽出する。
本稿では,言語ガイドネットワーク(LGN, Language Guided Networks)について紹介する。
論文 参考訳（メタデータ） (2020-06-18T12:08:40Z) - BanFakeNews: A Dataset for Detecting Fake News in Bangla [1.4170999534105675]
自動フェイクニュース検知システムの構築に使用できる50Kニュースの注釈付きデータセットを提案する。
我々は,Bangla偽ニュースを識別するためのNLP技術の現状を示すベンチマークシステムを開発した。
論文 参考訳（メタデータ） (2020-04-19T07:42:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。