論文の概要: MOMENTA: A Multimodal Framework for Detecting Harmful Memes and Their Targets

• arxiv url: http://arxiv.org/abs/2109.05184v1
• Date: Sat, 11 Sep 2021 04:29:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-18 17:27:51.537391
• Title: MOMENTA: A Multimodal Framework for Detecting Harmful Memes and Their Targets
• Title（参考訳）: MOMENTA: 有害なミームとそのターゲットを検出するマルチモーダルフレームワーク
• Authors: Shraman Pramanick, Shivam Sharma, Dimitar Dimitrov, Md Shad Akhtar, Preslav Nakov and Tanmoy Chakraborty
• Abstract要約: 我々は,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題を解決しようとしている。 特に,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題の解決を目指す。 我々は,世界的および地域的視点を用いて有害ミームを検出する,新しいマルチモーダル(テキスト+画像)ディープニューラルモデルMOMENTAを提案する。
• 参考スコア（独自算出の注目度）: 28.877314859737197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Internet memes have become powerful means to transmit political, psychological, and socio-cultural ideas. Although memes are typically humorous, recent days have witnessed an escalation of harmful memes used for trolling, cyberbullying, and abusing social entities. Detecting such harmful memes is challenging as they can be highly satirical and cryptic. Moreover, while previous work has focused on specific aspects of memes such as hate speech and propaganda, there has been little work on harm in general, and only one specialized dataset for it. Here, we focus on bridging this gap. In particular, we aim to solve two novel tasks: detecting harmful memes and identifying the social entities they target. We further extend the recently released HarMeme dataset to generalize on two prevalent topics - COVID-19 and US politics and name the two datasets as Harm-C and Harm-P, respectively. We then propose MOMENTA (MultimOdal framework for detecting harmful MemEs aNd Their tArgets), a novel multimodal (text + image) deep neural model, which uses global and local perspectives to detect harmful memes. MOMENTA identifies the object proposals and attributes and uses a multimodal model to perceive the comprehensive context in which the objects and the entities are portrayed in a given meme. MOMENTA is interpretable and generalizable, and it outperforms numerous baselines.
• Abstract（参考訳）: インターネットミームは、政治的、心理的、社会文化的アイデアを伝達する強力な手段となっている。 ミームは典型的にはユーモラスだが、最近では、トロール、サイバーいじめ、虐待に使用される有害なミームのエスカレーションが目撃されている。 このような有害なミームを検知することは、非常に風刺的で暗号的であるため困難である。 さらに、以前の研究はヘイトスピーチやプロパガンダといったミームの特定の側面に焦点を当ててきたが、一般的に害に関する作業はほとんどなく、それに対する特別なデータセットは1つしかなかった。 ここでは、このギャップを埋めることに集中します。 特に,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題の解決を目指す。 最近リリースされたHarMemeデータセットを拡張して、COVID-19とアメリカの政治という2つの一般的なトピックを一般化し、それぞれHarm-CとHarm-Pと名付けました。 次に,有害なミームとそのターゲットを検出するためのマルチモーダルフレームワークであるmomentaを提案する。これは,グローバルおよびローカルな視点を用いて有害なミームを検出する,新しいマルチモーダル(テキスト+イメージ)ディープニューラルモデルである。 MOMENTAはオブジェクトの提案と属性を特定し、オブジェクトとエンティティが与えられたミームで表現される包括的なコンテキストを認識するためにマルチモーダルモデルを使用する。 MOMENTAは解釈可能で一般化可能であり、多くのベースラインを上回っている。

関連論文リスト

• Deciphering Hate: Identifying Hateful Memes and Their Targets [4.574830585715128]
  BHMにおけるヘイトフルミーム検出のための新しいデータセットについて紹介する。 データセットは、7,148のミームとコードミキシングされたキャプションで構成され、(i)憎しみのあるミームを検知し、(ii)ターゲットとする社会的実体を検知する。 これらの課題を解決するために,メメから重要なモダリティ特徴を体系的に抽出するマルチモーダルディープニューラルネットワークDORAを提案する。
  論文  参考訳（メタデータ） (2024-03-16T06:39:41Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• Characterizing the Entities in Harmful Memes: Who is the Hero, the Villain, the Victim? [39.55435707149863]
  我々は、ミームが参照するエンティティを栄光し、悪用し、または犠牲にするかどうかを理解することを目指している。 提案モデルでは,最高のベースラインに対して4%,最も競合するスタンドアローンのサブミッションに対して1%の改善が達成されている。
  論文  参考訳（メタデータ） (2023-01-26T16:55:15Z)
• DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation [72.18912216025029]
  偽情報ミームの検出を支援するためにDisinfoMemeを提案する。 このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
  論文  参考訳（メタデータ） (2022-05-25T09:54:59Z)
• DISARM: Detecting the Victims Targeted by Harmful Memes [49.12165815990115]
  DISARMは、有害なミームを検出するために名前付きエンティティ認識と個人識別を使用するフレームワークである。 DISARMは10の単一モーダル・マルチモーダルシステムより著しく優れていることを示す。 複数の強力なマルチモーダルライバルに対して、有害なターゲット識別の相対誤差率を最大9ポイントまで下げることができる。
  論文  参考訳（メタデータ） (2022-05-11T19:14:26Z)
• Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
  我々は有害なミームに焦点を当てた総合的な調査を行っている。 興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。 別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
  論文  参考訳（メタデータ） (2022-05-09T13:43:27Z)
• Detecting Harmful Memes and Their Targets [27.25262711136056]
  COVID-19に関連する3,544のミームを含む最初のベンチマークデータセットであるHarMemeを紹介します。 第1段階では、ミームを非常に有害、部分的に有害、または無害とラベル付けし、第2段階では、有害ミームが示す標的の種類をさらにアノテートした。 10の単一モーダルモデルとマルチモーダルモデルによる評価結果は、両方のタスクにマルチモーダル信号を使用することの重要性を強調している。
  論文  参考訳（メタデータ） (2021-09-24T17:11:42Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)
• Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
  本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。 本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
  論文  参考訳（メタデータ） (2020-11-25T16:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。