論文の概要: Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning
- arxiv url: http://arxiv.org/abs/2311.08110v3
- Date: Wed, 30 Oct 2024 12:34:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:25:04.352657
- Title: Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning
- Title（参考訳）: Retrieval-Guided Contrastive LearningによるHateful Meme検出の改善
- Authors: Jingbiao Mei, Jinghong Chen, Weizhe Lin, Bill Byrne, Marcus Tomalin,
- Abstract要約: 本稿では,検索誘導型コントラスト学習により,ヘイトフルネスを考慮した埋め込み空間を構築することを提案する。
提案手法は,87.0のAUROCでHatefulMemesデータセット上での最先端性能を実現し,より大規模なマルチモーダルモデルよりも優れていた。
- 参考スコア（独自算出の注目度）: 13.690436954062015
- License:
- Abstract: Hateful memes have emerged as a significant concern on the Internet. Detecting hateful memes requires the system to jointly understand the visual and textual modalities. Our investigation reveals that the embedding space of existing CLIP-based systems lacks sensitivity to subtle differences in memes that are vital for correct hatefulness classification. We propose constructing a hatefulness-aware embedding space through retrieval-guided contrastive training. Our approach achieves state-of-the-art performance on the HatefulMemes dataset with an AUROC of 87.0, outperforming much larger fine-tuned large multimodal models. We demonstrate a retrieval-based hateful memes detection system, which is capable of identifying hatefulness based on data unseen in training. This allows developers to update the hateful memes detection system by simply adding new examples without retraining, a desirable feature for real services in the constantly evolving landscape of hateful memes on the Internet.
- Abstract（参考訳）: インターネット上では、憎しみに満ちたミームが重要な関心事として浮上している。
憎しみのあるミームを検出するには、視覚とテキストのモダリティを共同で理解する必要がある。
以上の結果から,既存のCLIPベースのシステムには,適切なヘイトフルネス分類に不可欠なミームの微妙な違いに対する感受性が欠如していることが判明した。
本稿では,検索誘導型コントラスト学習により,ヘイトフルネスを考慮した埋め込み空間を構築することを提案する。
提案手法は,87.0のAUROCでHatefulMemesデータセット上での最先端性能を実現し,より大規模なマルチモーダルモデルよりも優れていた。
本研究では,学習中に見つからないデータに基づいて,ヘイトフルネスを識別できる,検索に基づくヘイトフルミーム検出システムについて紹介する。
これによって開発者は、インターネット上のヘイトフルミームの絶え間なく進化している状況において、現実のサービスにとって望ましい機能であるリトレーニングなしで、新しいサンプルを追加するだけで、ヘイトフルミーム検出システムを更新できる。
関連論文リスト
- Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。
提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。
Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
論文 参考訳（メタデータ） (2024-07-30T17:51:44Z) - Zero shot VLMs for hate meme detection: Are we there yet? [9.970031080934003]
本研究では,ヘイト・ミーム検出などの複雑なタスクに対する視覚言語モデルの有効性について検討した。
我々は、大きなVLMが未だにゼロショットのヘイトミーム検出に弱いことを観察する。
論文 参考訳（メタデータ） (2024-02-19T15:03:04Z) - Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes
Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。
ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文 参考訳（メタデータ） (2024-01-18T11:24:30Z) - On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive
Learning [18.794226796466962]
複数の画像から視覚要素を合成したり、テキスト情報をヘイトフル画像と融合させたりすることで、ヘイトフルミームがどのように生成されるかを研究する。
4chanから抽出したデータセット上の我々のフレームワークを用いて、Happy Merchantミームの3.3K変種を見つける。
我々のフレームワークは、ヘイトフルミームの新たな変種をフラグ付けすることで、人間のモデレーターを助けることができると期待している。
論文 参考訳（メタデータ） (2022-12-13T13:38:04Z) - DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally
Spreading Out Disinformation [72.18912216025029]
偽情報ミームの検出を支援するためにDisinfoMemeを提案する。
このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
論文 参考訳（メタデータ） (2022-05-25T09:54:59Z) - DISARM: Detecting the Victims Targeted by Harmful Memes [49.12165815990115]
DISARMは、有害なミームを検出するために名前付きエンティティ認識と個人識別を使用するフレームワークである。
DISARMは10の単一モーダル・マルチモーダルシステムより著しく優れていることを示す。
複数の強力なマルチモーダルライバルに対して、有害なターゲット識別の相対誤差率を最大9ポイントまで下げることができる。
論文 参考訳（メタデータ） (2022-05-11T19:14:26Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z) - Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the
Lens of Facebook's Challenge [10.775419935941008]
我々は,現在最先端のマルチモーダル機械学習モデルのヘイトフルミーム検出に対する有効性を評価する。
4chanの"Politically Incorrect"ボード(/pol/)とFacebookのHateful Memes Challengeデータセットの12,140と10,567の2つのベンチマークデータセットを使用します。
分類性能におけるマルチモーダリティの重要性,主流のソーシャルプラットフォーム上でのWebコミュニティの影響力,その逆の3つの実験を行った。
論文 参考訳（メタデータ） (2022-02-17T07:52:22Z) - An Interpretable Approach to Hateful Meme Detection [0.0]
憎しみに満ちたミームは、インターネット上で憎しみを広める新しい方法だ。
機械学習を用いたミーム検出に対して,解釈可能なアプローチをとる。
我々は、勾配ブースト決定木とLSTMに基づくモデルを構築し、同等のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-08-09T18:28:56Z) - Memes in the Wild: Assessing the Generalizability of the Hateful Memes
Challenge Dataset [47.65948529524281]
Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。
1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
論文 参考訳（メタデータ） (2021-07-09T09:04:05Z) - Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。
本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
論文 参考訳（メタデータ） (2020-11-25T16:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。