論文の概要: Exploring the Limits of Zero Shot Vision Language Models for Hate Meme Detection: The Vulnerabilities and their Interpretations

• arxiv url: http://arxiv.org/abs/2402.12198v3
• Date: Sun, 23 Mar 2025 04:26:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:32:45.881949
• Title: Exploring the Limits of Zero Shot Vision Language Models for Hate Meme Detection: The Vulnerabilities and their Interpretations
• Title（参考訳）: ヘイト・ミーム検出のためのゼロショットビジョン言語モデルの限界探索:脆弱性とその解釈
• Authors: Naquee Rizwan, Paramananda Bhaskar, Mithun Das, Swadhin Satyaprakash Majhi, Punyajoy Saha, Animesh Mukherjee,
• Abstract要約: 本稿では,ハイトミーム検出などの複雑なタスクに対する現代の視覚言語モデル(VLM)の有効性について検討する。 我々は、様々なプロンプトタイプを用いて、徹底的なプロンプトエンジニアリングと最先端VLMのクエリを行い、ヘイトフル/ハームフルミームを検出する。
• 参考スコア（独自算出の注目度）: 9.970031080934003
• License:
• Abstract: There is a rapid increase in the use of multimedia content in current social media platforms. One of the highly popular forms of such multimedia content are memes. While memes have been primarily invented to promote funny and buoyant discussions, malevolent users exploit memes to target individuals or vulnerable communities, making it imperative to identify and address such instances of hateful memes. Thus social media platforms are in dire need for active moderation of such harmful content. While manual moderation is extremely difficult due to the scale of such content, automatic moderation is challenged by the need of good quality annotated data to train hate meme detection algorithms. This makes a perfect pretext for exploring the power of modern day vision language models (VLMs) that have exhibited outstanding performance across various tasks. In this paper we study the effectiveness of VLMs in handling intricate tasks such as hate meme detection in a completely zero-shot setting so that there is no dependency on annotated data for the task. We perform thorough prompt engineering and query state-of-the-art VLMs using various prompt types to detect hateful/harmful memes. We further interpret the misclassification cases using a novel superpixel based occlusion method. Finally we show that these misclassifications can be neatly arranged into a typology of error classes the knowledge of which should enable the design of better safety guardrails in future.
• Abstract（参考訳）: 現在のソーシャルメディアプラットフォームでは、マルチメディアコンテンツの利用が急速に増加している。 このようなマルチメディアコンテンツの非常に人気のある形態の1つはミームである。 ミームはおもにおかしで刺激的な議論を促進するために発明されているが、悪意のあるユーザーはミームを利用して個人や脆弱なコミュニティをターゲットにし、憎しみのあるミームのそのような事例を特定し、対処することが不可欠である。 このようにソーシャルメディアプラットフォームは、このような有害なコンテンツのアクティブなモデレーションを必要としている。 このようなコンテンツの規模によって手動のモデレーションは非常に難しいが、ハイトミーム検出アルゴリズムを訓練するために高品質なアノテートデータを必要とするため、自動モデレーションが課題となっている。 このことは、現代の視覚言語モデル(VLM)のパワーを探求する上で、様々なタスクにおいて優れたパフォーマンスを示すのに最適である。 本稿では,全ゼロショット設定でのヘイト・ミーム検出などの複雑なタスク処理におけるVLMの有効性について検討する。 我々は、様々なプロンプトタイプを用いて、徹底的なプロンプトエンジニアリングと最先端VLMのクエリを行い、ヘイトフル/ハームフルミームを検出する。 我々はさらに,新しいスーパーピクセルベースオクルージョン法を用いて,誤分類事例を解釈する。 最後に、これらの誤分類は、将来の安全ガードレールの設計を可能にするため、エラークラスのタイプに適切に配置可能であることを示す。

関連論文リスト

• Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
  ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。 提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。 Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
  論文  参考訳（メタデータ） (2024-07-30T17:51:44Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning [13.690436954062015]
  本稿では,検索誘導型コントラスト学習により,ヘイトフルネスを考慮した埋め込み空間を構築することを提案する。 提案手法は,87.0のAUROCでHatefulMemesデータセット上での最先端性能を実現し,より大規模なマルチモーダルモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-11-14T12:14:54Z)
• DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation [72.18912216025029]
  偽情報ミームの検出を支援するためにDisinfoMemeを提案する。 このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
  論文  参考訳（メタデータ） (2022-05-25T09:54:59Z)
• DISARM: Detecting the Victims Targeted by Harmful Memes [49.12165815990115]
  DISARMは、有害なミームを検出するために名前付きエンティティ認識と個人識別を使用するフレームワークである。 DISARMは10の単一モーダル・マルチモーダルシステムより著しく優れていることを示す。 複数の強力なマルチモーダルライバルに対して、有害なターゲット識別の相対誤差率を最大9ポイントまで下げることができる。
  論文  参考訳（メタデータ） (2022-05-11T19:14:26Z)
• Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
  我々は有害なミームに焦点を当てた総合的な調査を行っている。 興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。 別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
  論文  参考訳（メタデータ） (2022-05-09T13:43:27Z)
• Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the Lens of Facebook's Challenge [10.775419935941008]
  我々は,現在最先端のマルチモーダル機械学習モデルのヘイトフルミーム検出に対する有効性を評価する。 4chanの"Politically Incorrect"ボード(/pol/)とFacebookのHateful Memes Challengeデータセットの12,140と10,567の2つのベンチマークデータセットを使用します。 分類性能におけるマルチモーダリティの重要性,主流のソーシャルプラットフォーム上でのWebコミュニティの影響力,その逆の3つの実験を行った。
  論文  参考訳（メタデータ） (2022-02-17T07:52:22Z)
• Detecting Harmful Memes and Their Targets [27.25262711136056]
  COVID-19に関連する3,544のミームを含む最初のベンチマークデータセットであるHarMemeを紹介します。 第1段階では、ミームを非常に有害、部分的に有害、または無害とラベル付けし、第2段階では、有害ミームが示す標的の種類をさらにアノテートした。 10の単一モーダルモデルとマルチモーダルモデルによる評価結果は、両方のタスクにマルチモーダル信号を使用することの重要性を強調している。
  論文  参考訳（メタデータ） (2021-09-24T17:11:42Z)
• MOMENTA: A Multimodal Framework for Detecting Harmful Memes and Their Targets [28.877314859737197]
  我々は,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題を解決しようとしている。 特に,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題の解決を目指す。 我々は,世界的および地域的視点を用いて有害ミームを検出する,新しいマルチモーダル(テキスト+画像)ディープニューラルモデルMOMENTAを提案する。
  論文  参考訳（メタデータ） (2021-09-11T04:29:32Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)
• Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
  本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。 本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
  論文  参考訳（メタデータ） (2020-11-25T16:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。