論文の概要: Multimodal Learning for Hateful Memes Detection
- arxiv url: http://arxiv.org/abs/2011.12870v3
- Date: Sun, 6 Dec 2020 22:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 01:54:37.996130
- Title: Multimodal Learning for Hateful Memes Detection
- Title（参考訳）: 有害ミーム検出のためのマルチモーダル学習
- Authors: Yi Zhou, Zhenhao Chen
- Abstract要約: 本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。
本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
- 参考スコア（独自算出の注目度）: 6.6881085567421605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memes are used for spreading ideas through social networks. Although most
memes are created for humor, some memes become hateful under the combination of
pictures and text. Automatically detecting the hateful memes can help reduce
their harmful social impact. Unlike the conventional multimodal tasks, where
the visual and textual information is semantically aligned, the challenge of
hateful memes detection lies in its unique multimodal information. The image
and text in memes are weakly aligned or even irrelevant, which requires the
model to understand the content and perform reasoning over multiple modalities.
In this paper, we focus on multimodal hateful memes detection and propose a
novel method that incorporates the image captioning process into the memes
detection process. We conduct extensive experiments on multimodal meme datasets
and illustrated the effectiveness of our approach. Our model achieves promising
results on the Hateful Memes Detection Challenge.
- Abstract（参考訳）: ミームはソーシャルネットワークを通じてアイデアを広めるために使われる。
ほとんどのミームはユーモアのために作られるが、写真とテキストの組み合わせで嫌われるミームもある。
憎しみのあるミームを自動的に検出することは、有害な社会的影響を減らすのに役立つ。
視覚情報とテキスト情報が意味的に一致している従来のマルチモーダルタスクとは異なり、ヘイトフルミーム検出の課題はそのユニークなマルチモーダル情報にある。
ミーム内の画像とテキストは弱い整列あるいは無関係であり、複数のモダリティに対する推論をモデルが理解し実行する必要がある。
本稿では,マルチモーダルなヘイトフルミームの検出に着目し,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。
マルチモーダルミームデータセットを広範囲に実験し,提案手法の有効性を示す。
本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
関連論文リスト
- XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。
我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。
textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
論文 参考訳（メタデータ） (2024-07-24T10:51:46Z) - What Makes a Meme a Meme? Identifying Memes for Memetics-Aware Dataset Creation [0.9217021281095907]
マルチモーダルインターネットミームは現在、オンライン談話におけるユビキタスなフィクスチャとなっている。
ミームはミームを模倣してシンボルに変換する過程である。
我々は,ミームと非ミームコンテンツとを識別するミーム識別プロトコルを開発した。
論文 参考訳（メタデータ） (2024-07-16T15:48:36Z) - Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes
Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。
ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文 参考訳（メタデータ） (2024-01-18T11:24:30Z) - A Template Is All You Meme [83.05919383106715]
我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。
我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
論文 参考訳（メタデータ） (2023-11-11T19:38:14Z) - Mapping Memes to Words for Multimodal Hateful Meme Classification [26.101116761577796]
一部のミームは悪意があり、ヘイトフルなコンテンツを宣伝し、差別を永続させる。
マルチモーダルヘイトフルミーム分類のためのISSUESという新しい手法を提案する。
提案手法は,Hateful Memes Challenge と HarMeme データセットの最先端化を実現する。
論文 参考訳（メタデータ） (2023-10-12T14:38:52Z) - On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive
Learning [18.794226796466962]
複数の画像から視覚要素を合成したり、テキスト情報をヘイトフル画像と融合させたりすることで、ヘイトフルミームがどのように生成されるかを研究する。
4chanから抽出したデータセット上の我々のフレームワークを用いて、Happy Merchantミームの3.3K変種を見つける。
我々のフレームワークは、ヘイトフルミームの新たな変種をフラグ付けすることで、人間のモデレーターを助けることができると期待している。
論文 参考訳（メタデータ） (2022-12-13T13:38:04Z) - DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally
Spreading Out Disinformation [72.18912216025029]
偽情報ミームの検出を支援するためにDisinfoMemeを提案する。
このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
論文 参考訳（メタデータ） (2022-05-25T09:54:59Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z) - Detecting Harmful Memes and Their Targets [27.25262711136056]
COVID-19に関連する3,544のミームを含む最初のベンチマークデータセットであるHarMemeを紹介します。
第1段階では、ミームを非常に有害、部分的に有害、または無害とラベル付けし、第2段階では、有害ミームが示す標的の種類をさらにアノテートした。
10の単一モーダルモデルとマルチモーダルモデルによる評価結果は、両方のタスクにマルチモーダル信号を使用することの重要性を強調している。
論文 参考訳（メタデータ） (2021-09-24T17:11:42Z) - Memes in the Wild: Assessing the Generalizability of the Hateful Memes
Challenge Dataset [47.65948529524281]
Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。
1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
論文 参考訳（メタデータ） (2021-07-09T09:04:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。