論文の概要: Improving hateful memes detection via learning hatefulness-aware
embedding space through retrieval-guided contrastive learning
- arxiv url: http://arxiv.org/abs/2311.08110v1
- Date: Tue, 14 Nov 2023 12:14:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 14:12:56.479390
- Title: Improving hateful memes detection via learning hatefulness-aware
embedding space through retrieval-guided contrastive learning
- Title（参考訳）: 検索誘導型コントラスト学習によるヘイトフルネス認識空間の学習によるヘイトフルミーム検出の改善
- Authors: Jingbiao Mei, Jinghong Chen, Weizhe Lin, Bill Byrne, Marcus Tomalin
- Abstract要約: 本稿では,検索誘導型コントラスト学習によるヘイトフルネスを考慮した埋め込み空間を提案する。
提案手法は,AUROC 86.7 の HatefulMemes データセット上での最先端性能を実現する。
本研究では,学習時に見つからないデータに基づいてヘイトフルネスの分類を行うことのできる,検索に基づくヘイトフルミーム検出システムを示す。
- 参考スコア（独自算出の注目度）: 14.687729896211584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hateful memes have emerged as a significant concern on the Internet. These
memes, which are a combination of image and text, often convey messages vastly
different from their individual meanings. Thus, detecting hateful memes
requires the system to jointly understand the visual and textual modalities.
However, our investigation reveals that the embedding space of existing
CLIP-based systems lacks sensitivity to subtle differences in memes that are
vital for correct hatefulness classification. To address this issue, we propose
constructing a hatefulness-aware embedding space through retrieval-guided
contrastive training. Specifically, we add an auxiliary loss that utilizes hard
negative and pseudo-gold samples to train the embedding space. Our approach
achieves state-of-the-art performance on the HatefulMemes dataset with an AUROC
of 86.7. Notably, our approach outperforms much larger fine-tuned Large
Multimodal Models like Flamingo and LLaVA. Finally, we demonstrate a
retrieval-based hateful memes detection system, which is capable of making
hatefulness classification based on data unseen in training from a database.
This allows developers to update the hateful memes detection system by simply
adding new data without retraining, a desirable feature for real services in
the constantly-evolving landscape of hateful memes on the Internet.
- Abstract（参考訳）: 憎しみ深いミームがインターネット上で大きな関心事として浮上している。
これらのミームは画像とテキストの組み合わせであり、しばしば個々の意味とは大きく異なるメッセージを伝達する。
したがって、憎しみのあるミームを検出するには、視覚とテキストのモダリティを共同で理解する必要がある。
しかし,本研究では,既存のCLIP系システムの埋め込み空間には,適切なヘイトフルネス分類に不可欠なミームの微妙な違いに対する感受性が欠如していることを明らかにする。
この問題に対処するために,検索誘導型コントラスト学習によるヘイトフルネスを考慮した埋め込み空間の構築を提案する。
具体的には、強陰性および擬似金型サンプルを用いて埋め込み空間を訓練する補助損失を加える。
提案手法は,AUROC 86.7 の HatefulMemes データセット上での最先端性能を実現する。
とくに、FlamingoやLLaVAのような細調整された大規模マルチモーダルモデルよりも優れている。
最後に,データベースからのトレーニングで見つからないデータに基づいてヘイトフルネスの分類を行うことのできる,検索に基づくヘイトフルミーム検出システムを示す。
これにより、開発者は、インターネット上で常に進化するヘイトフルミームの風景の中で、現実のサービスにとって望ましい機能である、リトレーニングなしで新しいデータを追加するだけで、ヘイトフルミーム検出システムを更新できる。
関連論文リスト
- Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。
提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。
Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
論文 参考訳（メタデータ） (2024-07-30T17:51:44Z) - Zero shot VLMs for hate meme detection: Are we there yet? [9.970031080934003]
本研究では,ヘイト・ミーム検出などの複雑なタスクに対する視覚言語モデルの有効性について検討した。
我々は、大きなVLMが未だにゼロショットのヘイトミーム検出に弱いことを観察する。
論文 参考訳（メタデータ） (2024-02-19T15:03:04Z) - Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes
Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。
ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文 参考訳（メタデータ） (2024-01-18T11:24:30Z) - On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive
Learning [18.794226796466962]
複数の画像から視覚要素を合成したり、テキスト情報をヘイトフル画像と融合させたりすることで、ヘイトフルミームがどのように生成されるかを研究する。
4chanから抽出したデータセット上の我々のフレームワークを用いて、Happy Merchantミームの3.3K変種を見つける。
我々のフレームワークは、ヘイトフルミームの新たな変種をフラグ付けすることで、人間のモデレーターを助けることができると期待している。
論文 参考訳（メタデータ） (2022-12-13T13:38:04Z) - DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally
Spreading Out Disinformation [72.18912216025029]
偽情報ミームの検出を支援するためにDisinfoMemeを提案する。
このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
論文 参考訳（メタデータ） (2022-05-25T09:54:59Z) - DISARM: Detecting the Victims Targeted by Harmful Memes [49.12165815990115]
DISARMは、有害なミームを検出するために名前付きエンティティ認識と個人識別を使用するフレームワークである。
DISARMは10の単一モーダル・マルチモーダルシステムより著しく優れていることを示す。
複数の強力なマルチモーダルライバルに対して、有害なターゲット識別の相対誤差率を最大9ポイントまで下げることができる。
論文 参考訳（メタデータ） (2022-05-11T19:14:26Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z) - Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the
Lens of Facebook's Challenge [10.775419935941008]
我々は,現在最先端のマルチモーダル機械学習モデルのヘイトフルミーム検出に対する有効性を評価する。
4chanの"Politically Incorrect"ボード(/pol/)とFacebookのHateful Memes Challengeデータセットの12,140と10,567の2つのベンチマークデータセットを使用します。
分類性能におけるマルチモーダリティの重要性,主流のソーシャルプラットフォーム上でのWebコミュニティの影響力,その逆の3つの実験を行った。
論文 参考訳（メタデータ） (2022-02-17T07:52:22Z) - An Interpretable Approach to Hateful Meme Detection [0.0]
憎しみに満ちたミームは、インターネット上で憎しみを広める新しい方法だ。
機械学習を用いたミーム検出に対して,解釈可能なアプローチをとる。
我々は、勾配ブースト決定木とLSTMに基づくモデルを構築し、同等のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-08-09T18:28:56Z) - Memes in the Wild: Assessing the Generalizability of the Hateful Memes
Challenge Dataset [47.65948529524281]
Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。
1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
論文 参考訳（メタデータ） (2021-07-09T09:04:05Z) - Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。
本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
論文 参考訳（メタデータ） (2020-11-25T16:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。