Fugu-MT 論文翻訳(概要): On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive Learning

論文の概要: On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive Learning

arxiv url: http://arxiv.org/abs/2212.06573v2
Date: Fri, 7 Jul 2023 14:24:04 GMT
ステータス: 処理完了
システム内更新日: 2023-07-10 15:55:16.976887
Title: On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive Learning
Title（参考訳）: マルチモーダルコントラスト学習による(ヘイトフル)ミームの進化について
Authors: Yiting Qu, Xinlei He, Shannon Pierson, Michael Backes, Yang Zhang, Savvas Zannettou
Abstract要約: 複数の画像から視覚要素を合成したり、テキスト情報をヘイトフル画像と融合させたりすることで、ヘイトフルミームがどのように生成されるかを研究する。 4chanから抽出したデータセット上の我々のフレームワークを用いて、Happy Merchantミームの3.3K変種を見つける。我々のフレームワークは、ヘイトフルミームの新たな変種をフラグ付けすることで、人間のモデレーターを助けることができると期待している。
参考スコア（独自算出の注目度）: 18.794226796466962
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The dissemination of hateful memes online has adverse effects on social media platforms and the real world. Detecting hateful memes is challenging, one of the reasons being the evolutionary nature of memes; new hateful memes can emerge by fusing hateful connotations with other cultural ideas or symbols. In this paper, we propose a framework that leverages multimodal contrastive learning models, in particular OpenAI's CLIP, to identify targets of hateful content and systematically investigate the evolution of hateful memes. We find that semantic regularities exist in CLIP-generated embeddings that describe semantic relationships within the same modality (images) or across modalities (images and text). Leveraging this property, we study how hateful memes are created by combining visual elements from multiple images or fusing textual information with a hateful image. We demonstrate the capabilities of our framework for analyzing the evolution of hateful memes by focusing on antisemitic memes, particularly the Happy Merchant meme. Using our framework on a dataset extracted from 4chan, we find 3.3K variants of the Happy Merchant meme, with some linked to specific countries, persons, or organizations. We envision that our framework can be used to aid human moderators by flagging new variants of hateful memes so that moderators can manually verify them and mitigate the problem of hateful content online.
Abstract（参考訳）: ヘイトフルミームのオンライン普及は、ソーシャルメディアプラットフォームや現実世界に悪影響を及ぼす。憎しみのあるミームを検出することは、ミームの進化的な性質の1つであり、新しい憎しみのあるミームは、他の文化的考えやシンボルと憎しみのある意味を融合させることによって生まれる。本稿では,マルチモーダルコントラスト学習モデル,特にOpenAIのCLIPを利用して,ヘイトフルコンテンツのターゲットを特定し,ヘイトフルミームの進化を体系的に研究するフレームワークを提案する。意味的規則性はCLIPの生成した埋め込みの中に存在し、同じモダリティ(画像)内や、複数のモダリティ(画像とテキスト)内における意味的関係を記述する。この特性を活かして,複数の画像からの視覚的要素を結合したり,テキスト情報と嫌悪画像の融合によって,嫌悪感のミームがいかに生成されるかを検討した。本稿では, 反ユダヤ的ミーム, 特にHappy Merchant memeに着目し, ヘイトフルミームの進化を解析するためのフレームワークの能力を実証する。 4chanから抽出したデータセット上のフレームワークを使用することで、happy merchant memeの3.3kの変種を見つけ出すことができます。私たちのフレームワークは、ヘイトフルミームの新しい変種にフラグを付けて、モデレーターが手動でそれらを検証し、オンラインヘイトフルコンテンツの問題を緩和することによって、人間のモデレーターを助けるために利用することができると考えています。

関連論文リスト

Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。 Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
論文参考訳（メタデータ） (2024-07-30T17:51:44Z)
What Makes a Meme a Meme? Identifying Memes for Memetics-Aware Dataset Creation [0.9217021281095907]
マルチモーダルインターネットミームは現在、オンライン談話におけるユビキタスなフィクスチャとなっている。ミームはミームを模倣してシンボルに変換する過程である。我々は,ミームと非ミームコンテンツとを識別するミーム識別プロトコルを開発した。
論文参考訳（メタデータ） (2024-07-16T15:48:36Z)
Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文参考訳（メタデータ） (2024-01-18T11:24:30Z)
A Template Is All You Meme [83.05919383106715]
我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
論文参考訳（メタデータ） (2023-11-11T19:38:14Z)
Mapping Memes to Words for Multimodal Hateful Meme Classification [26.101116761577796]
一部のミームは悪意があり、ヘイトフルなコンテンツを宣伝し、差別を永続させる。マルチモーダルヘイトフルミーム分類のためのISSUESという新しい手法を提案する。提案手法は,Hateful Memes Challenge と HarMeme データセットの最先端化を実現する。
論文参考訳（メタデータ） (2023-10-12T14:38:52Z)
DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation [72.18912216025029]
偽情報ミームの検出を支援するためにDisinfoMemeを提案する。このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
論文参考訳（メタデータ） (2022-05-25T09:54:59Z)
Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文参考訳（メタデータ） (2022-05-09T13:43:27Z)
Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the Lens of Facebook's Challenge [10.775419935941008]
我々は,現在最先端のマルチモーダル機械学習モデルのヘイトフルミーム検出に対する有効性を評価する。 4chanの"Politically Incorrect"ボード(/pol/)とFacebookのHateful Memes Challengeデータセットの12,140と10,567の2つのベンチマークデータセットを使用します。分類性能におけるマルチモーダリティの重要性,主流のソーシャルプラットフォーム上でのWebコミュニティの影響力,その逆の3つの実験を行った。
論文参考訳（メタデータ） (2022-02-17T07:52:22Z)
Detecting Harmful Memes and Their Targets [27.25262711136056]
COVID-19に関連する3,544のミームを含む最初のベンチマークデータセットであるHarMemeを紹介します。第1段階では、ミームを非常に有害、部分的に有害、または無害とラベル付けし、第2段階では、有害ミームが示す標的の種類をさらにアノテートした。 10の単一モーダルモデルとマルチモーダルモデルによる評価結果は、両方のタスクにマルチモーダル信号を使用することの重要性を強調している。
論文参考訳（メタデータ） (2021-09-24T17:11:42Z)
Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
論文参考訳（メタデータ） (2021-07-09T09:04:05Z)
Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
論文参考訳（メタデータ） (2020-11-25T16:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。