論文の概要: Multimodal Misinformation Detection in a South African Social Media Environment

• arxiv url: http://arxiv.org/abs/2312.04052v1
• Date: Thu, 7 Dec 2023 05:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 16:03:11.257929
• Title: Multimodal Misinformation Detection in a South African Social Media Environment
• Title（参考訳）: 南アフリカのソーシャルメディア環境におけるマルチモーダル誤情報検出
• Authors: Amica De Jager, Vukosi Marivate, Abioudun Modupe
• Abstract要約: 本研究の目的は,コンテキスト環境間の誤情報検出モデルの知識の伝達可能性を検討することである。 本研究は,南アフリカのソーシャルメディア環境で機能するマルチモーダルMDモデルに貢献する。 このモデルは、Fakedditデータセットと南アフリカの誤情報データセットに基づいてトレーニングされ、評価される。
• 参考スコア（独自算出の注目度）: 0.2552922646705803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the constant spread of misinformation on social media networks, a need has arisen to continuously assess the veracity of digital content. This need has inspired numerous research efforts on the development of misinformation detection (MD) models. However, many models do not use all information available to them and existing research contains a lack of relevant datasets to train the models, specifically within the South African social media environment. The aim of this paper is to investigate the transferability of knowledge of a MD model between different contextual environments. This research contributes a multimodal MD model capable of functioning in the South African social media environment, as well as introduces a South African misinformation dataset. The model makes use of multiple sources of information for misinformation detection, namely: textual and visual elements. It uses bidirectional encoder representations from transformers (BERT) as the textual encoder and a residual network (ResNet) as the visual encoder. The model is trained and evaluated on the Fakeddit dataset and a South African misinformation dataset. Results show that using South African samples in the training of the model increases model performance, in a South African contextual environment, and that a multimodal model retains significantly more knowledge than both the textual and visual unimodal models. Our study suggests that the performance of a misinformation detection model is influenced by the cultural nuances of its operating environment and multimodal models assist in the transferability of knowledge between different contextual environments. Therefore, local data should be incorporated into the training process of a misinformation detection model in order to optimize model performance.
• Abstract（参考訳）: ソーシャルメディア上での誤情報の拡散が絶えない中、デジタルコンテンツの妥当性を継続的に評価する必要性が生じた。 このニーズは誤情報検出(MD)モデルの開発に多くの研究成果をもたらした。 しかしながら、多くのモデルでは利用可能なすべての情報を使用せず、既存の研究には、特に南アフリカのソーシャルメディア環境でモデルをトレーニングするための関連するデータセットが不足している。 本研究の目的は,異なる文脈環境間のMDモデルの知識の伝達可能性を検討することである。 本研究は,南アフリカのソーシャルメディア環境で機能するマルチモーダルMDモデルと,南アフリカの誤情報データセットの導入に寄与する。 このモデルは、誤情報検出、すなわちテキストおよび視覚要素の複数の情報源を利用する。 変換器(BERT)の双方向エンコーダ表現をテキストエンコーダとして、残余ネットワーク(ResNet)をビジュアルエンコーダとして使用する。 このモデルは、fakedditデータセットと南アフリカの誤った情報データセットでトレーニングされ、評価される。 その結果、モデルのトレーニングに南アフリカのサンプルを用いると、南アフリカの文脈環境ではモデル性能が向上し、マルチモーダルモデルはテキストモデルとビジュアルユニモーダルモデルの両方よりもかなり多くの知識を保持できることがわかった。 本研究は,誤情報検出モデルの性能が,その運用環境の文化的ニュアンスやマルチモーダルモデルの影響を受けていることを示唆する。 したがって、モデル性能を最適化するために、誤情報検出モデルのトレーニングプロセスにローカルデータを組み込む必要がある。

関連論文リスト

• Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• What If the TV Was Off? Examining Counterfactual Reasoning Abilities of Multi-modal Language Models [22.0839948292609]
  我々は,現代言語モデルの対実的推論能力をテストするために,新しいデータセットC-VQAを導入する。 このデータセットは、数値クエリや対語クエリなど、さまざまなタイプでオリジナルの質問を注入することで構築される。 このデータセットを用いた現代の視覚モデルの評価では、性能低下が顕著であり、いくつかのモデルでは40%まで低下している。
  論文  参考訳（メタデータ） (2023-10-10T13:45:59Z)
• A Multimodal Visual Encoding Model Aided by Introducing Verbal Semantic Information [5.142858130898767]
  従来の視覚符号化モデルは、生物学的発見と矛盾する言語意味情報を含まない。 本稿では,刺激画像と関連するテキスト情報に基づくマルチモーダル視覚情報符号化ネットワークモデルを提案する。 実験により,提案したマルチモーダル視覚情報符号化ネットワークモデルが従来モデルより優れていたことを示す。
  論文  参考訳（メタデータ） (2023-08-29T09:21:48Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)
• VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
  マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です 本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。 リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
  論文  参考訳（メタデータ） (2023-04-27T12:28:29Z)
• Harnessing the Power of Text-image Contrastive Models for Automatic Detection of Online Misinformation [50.46219766161111]
  誤情報識別の領域における構成的学習を探求する自己学習モデルを構築した。 本モデルでは、トレーニングデータが不十分な場合、非マッチング画像-テキストペア検出の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-19T02:53:59Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Interpretable Fake News Detection with Topic and Deep Variational Models [2.15242029196761]
  我々は,解釈可能な特徴と手法を用いた偽ニュース検出に焦点をあてる。 我々は,テキストニュースの高密度表現を統合した深層確率モデルを開発した。 我々のモデルは最先端の競合モデルに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2022-09-04T05:31:00Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。