論文の概要: Demystifying Hateful Content: Leveraging Large Multimodal Models for Hateful Meme Detection with Explainable Decisions

• arxiv url: http://arxiv.org/abs/2502.11073v1
• Date: Sun, 16 Feb 2025 10:45:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:01.560387
• Title: Demystifying Hateful Content: Leveraging Large Multimodal Models for Hateful Meme Detection with Explainable Decisions
• Title（参考訳）: Demystifying Hateful content: Leveraging Large Multimodal Models for Hateful Meme Detection with Explainable Decisions
• Authors: Ming Shan Hee, Roy Ka-Wei Lee,
• Abstract要約: 本稿では,LMM(Large Multimodal Models)を利用した新しいフレームワークであるIntMemeを紹介する。 IntMemeは、ミームのモデレーションにおける正確性と説明可能性の両方を改善するという2つの課題に対処する。 提案手法はPT-VLMにおける不透明度と誤分類の問題に対処し,LMMを用いた憎しみのあるミーム検出を最適化する。
• 参考スコア（独自算出の注目度）: 4.649093665157263
• License:
• Abstract: Hateful meme detection presents a significant challenge as a multimodal task due to the complexity of interpreting implicit hate messages and contextual cues within memes. Previous approaches have fine-tuned pre-trained vision-language models (PT-VLMs), leveraging the knowledge they gained during pre-training and their attention mechanisms to understand meme content. However, the reliance of these models on implicit knowledge and complex attention mechanisms renders their decisions difficult to explain, which is crucial for building trust in meme classification. In this paper, we introduce IntMeme, a novel framework that leverages Large Multimodal Models (LMMs) for hateful meme classification with explainable decisions. IntMeme addresses the dual challenges of improving both accuracy and explainability in meme moderation. The framework uses LMMs to generate human-like, interpretive analyses of memes, providing deeper insights into multimodal content and context. Additionally, it uses independent encoding modules for both memes and their interpretations, which are then combined to enhance classification performance. Our approach addresses the opacity and misclassification issues associated with PT-VLMs, optimizing the use of LMMs for hateful meme detection. We demonstrate the effectiveness of IntMeme through comprehensive experiments across three datasets, showcasing its superiority over state-of-the-art models.
• Abstract（参考訳）: 憎しみのあるミーム検出は、暗黙のヘイトメッセージとミーム内の文脈的手がかりを解釈する複雑さのため、マルチモーダルなタスクとして重要な課題となる。 従来のアプローチでは、事前学習中に得られた知識と、ミームの内容を理解するための注意機構を活用して、訓練済みの視覚言語モデル(PT-VLM)を微調整した。 しかし、これらのモデルが暗黙の知識や複雑な注意機構に依存しているため、それらの決定は説明が難しい。 本稿では,LMM(Large Multimodal Models)を利用した新しいフレームワークであるIntMemeを紹介する。 IntMemeは、ミームのモデレーションにおける正確性と説明可能性の両方を改善するという2つの課題に対処する。 このフレームワークは、LMMを使用してミームの人間的な解釈分析を生成し、マルチモーダルコンテンツとコンテキストに関する深い洞察を提供する。 さらに、ミームとそれらの解釈の両方に独立したエンコーディングモジュールを使用し、それらを組み合わせて分類性能を向上させる。 提案手法はPT-VLMと関連する不透明度と誤分類の問題に対処し,憎悪なミーム検出におけるLMMの使用を最適化する。 IntMemeの3つのデータセットにわたる総合的な実験を通しての有効性を実証し、最先端モデルよりも優れていることを示す。

関連論文リスト

• Towards Low-Resource Harmful Meme Detection with LMM Agents [13.688955830843973]
  低リソース有害ミーム検出のためのエージェント駆動型フレームワークを提案する。 まず、LMMエージェントの補助信号としてラベル情報を利用するアノテーション付き相対ミームを検索する。 我々は,LMMエージェント内での知識改善行動を利用して,ミーム有害性に関するよく一般化された洞察を導出する。
  論文  参考訳（メタデータ） (2024-11-08T07:43:15Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• HateSieve: A Contrastive Learning Framework for Detecting and Segmenting Hateful Content in Multimodal Memes [8.97062933976566]
  textscHateSieveは、ミーム内の憎しみのある要素の検出とセグメンテーションを強化するために設計されたフレームワークである。 textscHateSieveは、セマンティックなペアのミームを生成するContrastive Meme Generatorを特徴としている。 Hateful Memeでの実証実験では、textscHateSieveはトレーニング可能なパラメータが少なく、既存のLMMを超えるだけでなく、ヘイトフルコンテンツを正確に識別し、分離するための堅牢なメカニズムを提供する。
  論文  参考訳（メタデータ） (2024-08-11T14:56:06Z)
• Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
  ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。 提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。 Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
  論文  参考訳（メタデータ） (2024-07-30T17:51:44Z)
• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• Towards Explainable Harmful Meme Detection through Multimodal Debate between Large Language Models [18.181154544563416]
  ソーシャルメディアの時代はインターネットのミームで溢れており、有害なものを明確に把握し、効果的に識別する必要がある。 既存の有害なミーム検出手法では、検出決定を支援するためにそのような暗黙的な意味を明らかにする読みやすい説明は提示されない。 本研究では,無害な位置と有害な位置の両方から矛盾する合理性を推論することで,有害なミームを検出するための説明可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-01-24T08:37:16Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• Beneath the Surface: Unveiling Harmful Memes with Multimodal Reasoning Distilled from Large Language Models [17.617187709968242]
  既存の有害なミーム検出手法は、端から端までの分類方法において、表面的な害を示す信号のみを認識する。 本稿では,多モーダル融合を改善するために,大規模言語モデルから合理的な思考を学習するための新しい生成フレームワークを提案する。 提案手法は,有害ミーム検出タスクにおける最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-12-09T01:59:11Z)
• A Template Is All You Meme [83.05919383106715]
  我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。 我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
  論文  参考訳（メタデータ） (2023-11-11T19:38:14Z)
• MemeFier: Dual-stage Modality Fusion for Image Meme Classification [8.794414326545697]
  画像ミームのような新しいデジタルコンテンツは、マルチモーダル手段を用いてヘイトを広めるきっかけとなった。 インターネット画像ミームのきめ細かい分類のためのディープラーニングアーキテクチャであるMemeFierを提案する。
  論文  参考訳（メタデータ） (2023-04-06T07:36:52Z)
• Caption Enriched Samples for Improving Hateful Memes Detection [78.5136090997431]
  憎しみのあるミームの挑戦は、ミームが憎悪であるか否かを決定するのが困難であることを示している。 ユニモーダル言語モデルとマルチモーダル視覚言語モデルの両方が人間のパフォーマンスレベルに到達できない。
  論文  参考訳（メタデータ） (2021-09-22T10:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。