論文の概要: Zero shot VLMs for hate meme detection: Are we there yet?

• arxiv url: http://arxiv.org/abs/2402.12198v1
• Date: Mon, 19 Feb 2024 15:03:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 15:57:47.963061
• Title: Zero shot VLMs for hate meme detection: Are we there yet?
• Title（参考訳）: ヘイトミーム検出のためのゼロショットVLM:まだ存在するか?
• Authors: Naquee Rizwan, Paramananda Bhaskar, Mithun Das, Swadhin Satyaprakash Majhi, Punyajoy Saha, Animesh Mukherjee
• Abstract要約: 本研究では,ヘイト・ミーム検出などの複雑なタスクに対する視覚言語モデルの有効性について検討した。 我々は、大きなVLMが未だにゼロショットのヘイトミーム検出に弱いことを観察する。
• 参考スコア（独自算出の注目度）: 10.469985474345714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimedia content on social media is rapidly evolving, with memes gaining prominence as a distinctive form. Unfortunately, some malicious users exploit memes to target individuals or vulnerable communities, making it imperative to identify and address such instances of hateful memes. Extensive research has been conducted to address this issue by developing hate meme detection models. However, a notable limitation of traditional machine/deep learning models is the requirement for labeled datasets for accurate classification. Recently, the research community has witnessed the emergence of several visual language models that have exhibited outstanding performance across various tasks. In this study, we aim to investigate the efficacy of these visual language models in handling intricate tasks such as hate meme detection. We use various prompt settings to focus on zero-shot classification of hateful/harmful memes. Through our analysis, we observe that large VLMs are still vulnerable for zero-shot hate meme detection.
• Abstract（参考訳）: ソーシャルメディア上のマルチメディアコンテンツは急速に進化しており、ミームは顕著な形式として注目されている。 残念ながら、悪意のあるユーザの中には、個人や脆弱なコミュニティをターゲットにするミームを悪用する者もいる。 ヘイトミーム検出モデルを開発することでこの問題に対処する研究が盛んに行われている。 しかし、従来の機械学習モデルの顕著な制限は、正確な分類のためのラベル付きデータセットの要求である。 近年、研究コミュニティは様々なタスクにおいて優れたパフォーマンスを示す視覚言語モデルの出現を目撃している。 本研究では,ハト・ミーム検出などの複雑なタスクに対する視覚言語モデルの有効性を検討することを目的とする。 ヘイトフル/ハームフルミームのゼロショット分類にフォーカスするために、さまざまなプロンプト設定を使用します。 分析の結果,大きなVLMは依然としてゼロショットヘイトミーム検出に弱いことがわかった。

関連論文リスト

• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning [13.690436954062015]
  本稿では,検索誘導型コントラスト学習により,ヘイトフルネスを考慮した埋め込み空間を構築することを提案する。 提案手法は,87.0のAUROCでHatefulMemesデータセット上での最先端性能を実現し,より大規模なマルチモーダルモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-11-14T12:14:54Z)
• A Template Is All You Meme [83.05919383106715]
  我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。 我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
  論文  参考訳（メタデータ） (2023-11-11T19:38:14Z)
• DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation [72.18912216025029]
  偽情報ミームの検出を支援するためにDisinfoMemeを提案する。 このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
  論文  参考訳（メタデータ） (2022-05-25T09:54:59Z)
• DISARM: Detecting the Victims Targeted by Harmful Memes [49.12165815990115]
  DISARMは、有害なミームを検出するために名前付きエンティティ認識と個人識別を使用するフレームワークである。 DISARMは10の単一モーダル・マルチモーダルシステムより著しく優れていることを示す。 複数の強力なマルチモーダルライバルに対して、有害なターゲット識別の相対誤差率を最大9ポイントまで下げることができる。
  論文  参考訳（メタデータ） (2022-05-11T19:14:26Z)
• Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
  我々は有害なミームに焦点を当てた総合的な調査を行っている。 興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。 別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
  論文  参考訳（メタデータ） (2022-05-09T13:43:27Z)
• Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the Lens of Facebook's Challenge [10.775419935941008]
  我々は,現在最先端のマルチモーダル機械学習モデルのヘイトフルミーム検出に対する有効性を評価する。 4chanの"Politically Incorrect"ボード(/pol/)とFacebookのHateful Memes Challengeデータセットの12,140と10,567の2つのベンチマークデータセットを使用します。 分類性能におけるマルチモーダリティの重要性,主流のソーシャルプラットフォーム上でのWebコミュニティの影響力,その逆の3つの実験を行った。
  論文  参考訳（メタデータ） (2022-02-17T07:52:22Z)
• Detecting Harmful Memes and Their Targets [27.25262711136056]
  COVID-19に関連する3,544のミームを含む最初のベンチマークデータセットであるHarMemeを紹介します。 第1段階では、ミームを非常に有害、部分的に有害、または無害とラベル付けし、第2段階では、有害ミームが示す標的の種類をさらにアノテートした。 10の単一モーダルモデルとマルチモーダルモデルによる評価結果は、両方のタスクにマルチモーダル信号を使用することの重要性を強調している。
  論文  参考訳（メタデータ） (2021-09-24T17:11:42Z)
• MOMENTA: A Multimodal Framework for Detecting Harmful Memes and Their Targets [28.877314859737197]
  我々は,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題を解決しようとしている。 特に,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題の解決を目指す。 我々は,世界的および地域的視点を用いて有害ミームを検出する,新しいマルチモーダル(テキスト+画像)ディープニューラルモデルMOMENTAを提案する。
  論文  参考訳（メタデータ） (2021-09-11T04:29:32Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)
• Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
  本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。 本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
  論文  参考訳（メタデータ） (2020-11-25T16:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。