論文の概要: Detecting Harmful Memes with Decoupled Understanding and Guided CoT Reasoning

• arxiv url: http://arxiv.org/abs/2506.08477v1
• Date: Tue, 10 Jun 2025 06:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:41.651857
• Title: Detecting Harmful Memes with Decoupled Understanding and Guided CoT Reasoning
• Title（参考訳）: 分離された理解とガイド付きCoT推論による有害ミームの検出
• Authors: Fengjun Pan, Anh Tuan Luu, Xiaobao Wu,
• Abstract要約: 有害ミーム検出のための新しいフレームワークであるU-CoT+を紹介する。 まず,視覚的ミームを詳細なテキスト記述に変換する高忠実度ミーム・トゥ・テキストパイプラインを開発する。 この設計は、ミームの解釈をミーム分類から切り離し、複雑な生の視覚的内容に対する即時推論を避ける。
• 参考スコア（独自算出の注目度）: 26.546646866501735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting harmful memes is essential for maintaining the integrity of online environments. However, current approaches often struggle with resource efficiency, flexibility, or explainability, limiting their practical deployment in content moderation systems. To address these challenges, we introduce U-CoT+, a novel framework for harmful meme detection. Instead of relying solely on prompting or fine-tuning multimodal models, we first develop a high-fidelity meme-to-text pipeline that converts visual memes into detail-preserving textual descriptions. This design decouples meme interpretation from meme classification, thus avoiding immediate reasoning over complex raw visual content and enabling resource-efficient harmful meme detection with general large language models (LLMs). Building on these textual descriptions, we further incorporate targeted, interpretable human-crafted guidelines to guide models' reasoning under zero-shot CoT prompting. As such, this framework allows for easy adaptation to different harmfulness detection criteria across platforms, regions, and over time, offering high flexibility and explainability. Extensive experiments on seven benchmark datasets validate the effectiveness of our framework, highlighting its potential for explainable and low-resource harmful meme detection using small-scale LLMs. Codes and data are available at: https://anonymous.4open.science/r/HMC-AF2B/README.md.
• Abstract（参考訳）: 有害ミームの検出は、オンライン環境の整合性を維持する上で不可欠である。 しかしながら、現在のアプローチはリソース効率、柔軟性、説明可能性に苦しむことが多く、コンテンツモデレーションシステムにおける実践的なデプロイを制限します。 これらの課題に対処するために,有害ミーム検出のための新しいフレームワークであるU-CoT+を紹介する。 マルチモーダルモデルのプロンプトや微調整のみに頼るのではなく、視覚的ミームを詳細なテキスト記述に変換する高忠実度ミーム・トゥ・テキストパイプラインを開発する。 この設計は、ミームの解釈をミーム分類から切り離し、複雑な生のビジュアルコンテンツに対する即時推論を回避し、汎用大言語モデル(LLM)による資源効率の悪いミーム検出を可能にする。 これらのテキスト記述に基づいて、ゼロショットCoTプロンプトによるモデル推論をガイドするために、ターゲットとなる、解釈可能な人為的なガイドラインをさらに取り入れた。 したがって、このフレームワークはプラットフォーム、リージョン、時間とともに異なる有害検出基準に容易に適応することができ、高い柔軟性と説明可能性を提供します。 7つのベンチマークデータセットの大規模な実験により、我々のフレームワークの有効性が検証され、小規模のLCMを用いた説明可能な、低リソースの有害なミーム検出の可能性が強調された。 コードとデータは https://anonymous.4open.science/r/HMC-AF2B/README.md で公開されている。

関連論文リスト

• MIND: A Multi-agent Framework for Zero-shot Harmful Meme Detection [3.7336554275205898]
  我々は、アノテーション付きデータに依存しないゼロショット有害なミーム検出のためのマルチエージェントフレームワークであるMINDを提案する。 MINDは3つの重要な戦略を実装している。1) 文脈情報を提供するための注釈のない参照セットから類似のミームを抽出する; 2) 類似のミームを包括的に理解するための双方向の洞察メカニズムを提案する; 3) 論理的仲裁による堅牢な意思決定を保証するためにマルチエージェントの議論メカニズムを採用する。
  論文  参考訳（メタデータ） (2025-07-09T14:46:32Z)
• MemeMind: A Large-Scale Multimodal Dataset with Chain-of-Thought Reasoning for Harmful Meme Detection [4.09109557328609]
  有害なミームは、暗黙のセマンティクスと複雑なマルチモーダル相互作用による自動検出に重大な課題をもたらす。 MemeMindは、科学的に厳格な標準、大規模、多様性、バイリンガルサポート(中国語と英語)、詳細なChain-of-Thought(CoT)アノテーションを備えた、新しいデータセットである。 本稿では,マルチモーダル情報と推論プロセスモデリングを効果的に統合した,革新的な検出フレームワークMemeGuardを提案する。
  論文  参考訳（メタデータ） (2025-06-15T13:45:30Z)
• MemeReaCon: Probing Contextual Meme Understanding in Large Vision-Language Models [50.2355423914562]
  我々は,LVLM(Large Vision Language Models)がミームを本来の文脈でどのように理解するかを評価するために設計された,新しいベンチマークであるMemeReaConを紹介する。 私たちは5つのRedditコミュニティからミームを収集し、各ミームの画像、ポストテキスト、ユーザーコメントを一緒に保持しました。 モデルは文脈において重要な情報を解釈できないか、あるいはコミュニケーション目的を見越しながら視覚的詳細に過度に焦点を合わせるかのどちらかです。
  論文  参考訳（メタデータ） (2025-05-23T03:27:23Z)
• CAMU: Context Augmentation for Meme Understanding [9.49890289676001]
  ソーシャルメディアのミームは、文化的にニュアンスのあるメッセージに視覚的およびテキスト的手がかりを織り込むため、ヘイト検出の難しい領域である。 より説明的なキャプションを生成するために,大規模な視覚言語モデルを活用した新しいフレームワークCAMUを導入する。 提案手法は,Hateful Memesデータセット上での精度(0.807)とF1スコア(0.806)を,既存のSoTAフレームワークと同等に達成する。
  論文  参考訳（メタデータ） (2025-04-24T19:27:55Z)
• Demystifying Hateful Content: Leveraging Large Multimodal Models for Hateful Meme Detection with Explainable Decisions [4.649093665157263]
  本稿では,LMM(Large Multimodal Models)を利用した新しいフレームワークであるIntMemeを紹介する。 IntMemeは、ミームのモデレーションにおける正確性と説明可能性の両方を改善するという2つの課題に対処する。 提案手法はPT-VLMにおける不透明度と誤分類の問題に対処し,LMMを用いた憎しみのあるミーム検出を最適化する。
  論文  参考訳（メタデータ） (2025-02-16T10:45:40Z)
• Towards Low-Resource Harmful Meme Detection with LMM Agents [13.688955830843973]
  低リソース有害ミーム検出のためのエージェント駆動型フレームワークを提案する。 まず、LMMエージェントの補助信号としてラベル情報を利用するアノテーション付き相対ミームを検索する。 我々は,LMMエージェント内での知識改善行動を利用して,ミーム有害性に関するよく一般化された洞察を導出する。
  論文  参考訳（メタデータ） (2024-11-08T07:43:15Z)
• HateSieve: A Contrastive Learning Framework for Detecting and Segmenting Hateful Content in Multimodal Memes [8.97062933976566]
  textscHateSieveは、ミーム内の憎しみのある要素の検出とセグメンテーションを強化するために設計されたフレームワークである。 textscHateSieveは、セマンティックなペアのミームを生成するContrastive Meme Generatorを特徴としている。 Hateful Memeでの実証実験では、textscHateSieveはトレーニング可能なパラメータが少なく、既存のLMMを超えるだけでなく、ヘイトフルコンテンツを正確に識別し、分離するための堅牢なメカニズムを提供する。
  論文  参考訳（メタデータ） (2024-08-11T14:56:06Z)
• Multimodal Unlearnable Examples: Protecting Data against Multimodal Contrastive Learning [53.766434746801366]
  マルチモーダル・コントラッシブ・ラーニング (MCL) は、インターネットから何百万ものイメージ・キャプション・ペアから学習することで、ゼロショット分類において顕著な進歩を見せている。 ハッカーは、個人やプライバシーに敏感な情報を含む、モデルトレーニングのために画像テキストデータを不正に活用する可能性がある。 近年の研究では、保護のためのショートカットを構築するための訓練画像に知覚不能な摂動を加えることで、学習不可能な例を生成することを提案する。 マルチステップ誤り最小化(MEM)を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:00:52Z)
• MemeGuard: An LLM and VLM-based Framework for Advancing Content Moderation via Meme Intervention [43.849634264271565]
  textitMemeGuardは,大規模言語モデル(LLM)とビジュアル言語モデル(VLM)を活用した包括的なフレームワークである。 textitMemeGuardは、特別に微調整されたVLM、textitVLMeme、ミーム解釈、マルチモーダルな知識選択とランキング機構を利用する。 我々はtextitICMM を利用して textitMemeGuard をテストする。
  論文  参考訳（メタデータ） (2024-06-08T04:09:20Z)
• CODE: Contrasting Self-generated Description to Combat Hallucination in Large Multi-modal Models [51.70129969269271]
  CODE(Countering Description Contrastive Decoding)という,新しいコントラストベースのデコーディング手法を提案する。 提案手法は幻覚を著しく低減し,様々なベンチマークや最先端のLMM間の相互整合性を改善する。
  論文  参考訳（メタデータ） (2024-06-04T03:04:21Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• Flexible and Robust Counterfactual Explanations with Minimal Satisfiable Perturbations [56.941276017696076]
  我々は、最小満足度摂動(CEMSP)を用いた対実的説明法という概念的に単純だが効果的な解を提案する。 CEMSPは、意味論的に意味のある正常範囲の助けを借りて、異常な特徴の値を変更することを制限している。 既存の手法と比較して、我々は合成データセットと実世界のデータセットの両方で包括的な実験を行い、柔軟性を維持しつつ、より堅牢な説明を提供することを示した。
  論文  参考訳（メタデータ） (2023-09-09T04:05:56Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。