論文の概要: SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes

• arxiv url: http://arxiv.org/abs/2412.20541v1
• Date: Sun, 29 Dec 2024 18:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:46.560493
• Title: SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes
• Title（参考訳）: SAFE-MEME:ミームにおけるロバストヘイト音声検出のための構造化推論フレームワーク
• Authors: Palash Nandi, Shivam Sharma, Tanmoy Chakraborty,
• Abstract要約: 我々は,Q&Aスタイルの推論と階層的分類を取り入れた新しいフレームワークSAFE-MEMEを導入し,ミームにおける堅牢なヘイトスピーチ検出を実現する。 本研究では,SAFE-MEME-Hにおける単一層アダプタの微調整が,通常の微調整されたモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 21.92545699990274
• License:
• Abstract: Memes act as cryptic tools for sharing sensitive ideas, often requiring contextual knowledge to interpret. This makes moderating multimodal memes challenging, as existing works either lack high-quality datasets on nuanced hate categories or rely on low-quality social media visuals. Here, we curate two novel multimodal hate speech datasets, MHS and MHS-Con, that capture fine-grained hateful abstractions in regular and confounding scenarios, respectively. We benchmark these datasets against several competing baselines. Furthermore, we introduce SAFE-MEME (Structured reAsoning FramEwork), a novel multimodal Chain-of-Thought-based framework employing Q&A-style reasoning (SAFE-MEME-QA) and hierarchical categorization (SAFE-MEME-H) to enable robust hate speech detection in memes. SAFE-MEME-QA outperforms existing baselines, achieving an average improvement of approximately 5% and 4% on MHS and MHS-Con, respectively. In comparison, SAFE-MEME-H achieves an average improvement of 6% in MHS while outperforming only multimodal baselines in MHS-Con. We show that fine-tuning a single-layer adapter within SAFE-MEME-H outperforms fully fine-tuned models in regular fine-grained hateful meme detection. However, the fully fine-tuning approach with a Q&A setup is more effective for handling confounding cases. We also systematically examine the error cases, offering valuable insights into the robustness and limitations of the proposed structured reasoning framework for analyzing hateful memes.
• Abstract（参考訳）: ミームは機密性の高いアイデアを共有するための秘密のツールとして機能し、しばしば解釈するために文脈的な知識を必要とする。 これは、マルチモーダルなミームのモデレーションを困難にしている。既存の作品には、ヌーアンスドヘイトカテゴリーに関する高品質なデータセットがないか、低品質のソーシャルメディアのビジュアルに依存している。 本稿では,MHS と MHS-Con という2つの新しいマルチモーダルヘイトスピーチデータセットをキュレートする。 これらのデータセットを、競合するいくつかのベースラインに対してベンチマークします。 さらに、SAFE-MEME(Structured reAsoning FramEwork)という、Q&Aスタイルの推論(SAFE-MEME-QA)と階層分類(SAFE-MEME-H)を用いた新しいマルチモーダル・チェーン・オブ・ソート・ベースのフレームワークを導入し、ミームにおける堅牢なヘイトスピーチ検出を実現する。 SAFE-MEME-QAは既存のベースラインを上回り、MHSとMHS-Conでそれぞれ平均5%と4%の改善を実現している。 一方,SAFE-MEME-HはMHSでは6%,MHS-Conではマルチモーダルベースラインでは6%に向上した。 本研究では,SAFE-MEME-Hにおける単一層アダプタの微調整が,通常の微調整されたモデルよりも優れていることを示す。 しかし、Q&A設定による完全な微調整アプローチは、相反するケースを扱うのにより効果的である。 また, 誤り事例を体系的に検討し, ヘイトフルミームを解析するための構造化推論フレームワークの堅牢性と限界に関する貴重な知見を提供する。

関連論文リスト

• Improved Fine-Tuning of Large Multimodal Models for Hateful Meme Detection [14.389486267051327]
  有害ミームはインターネットにおいて重要な関心事となり、堅牢な自動検知システムを必要としている。 大規模マルチモーダルモデルは様々なタスクにまたがって強力な一般化を示してきたが、ミームの動的性質によるミーム検出への一般化は乏しい。 本稿では,LMM-RGCL(Large Multimodal Model Retrieval-Guided Contrastive Learning)を提案する。
  論文  参考訳（メタデータ） (2025-02-18T17:07:29Z)
• Demystifying Hateful Content: Leveraging Large Multimodal Models for Hateful Meme Detection with Explainable Decisions [4.649093665157263]
  本稿では,LMM(Large Multimodal Models)を利用した新しいフレームワークであるIntMemeを紹介する。 IntMemeは、ミームのモデレーションにおける正確性と説明可能性の両方を改善するという2つの課題に対処する。 提案手法はPT-VLMにおける不透明度と誤分類の問題に対処し,LMMを用いた憎しみのあるミーム検出を最適化する。
  論文  参考訳（メタデータ） (2025-02-16T10:45:40Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)
• R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
  マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。 タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。 本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
  論文  参考訳（メタデータ） (2024-11-27T10:57:06Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• HateSieve: A Contrastive Learning Framework for Detecting and Segmenting Hateful Content in Multimodal Memes [8.97062933976566]
  textscHateSieveは、ミーム内の憎しみのある要素の検出とセグメンテーションを強化するために設計されたフレームワークである。 textscHateSieveは、セマンティックなペアのミームを生成するContrastive Meme Generatorを特徴としている。 Hateful Memeでの実証実験では、textscHateSieveはトレーニング可能なパラメータが少なく、既存のLMMを超えるだけでなく、ヘイトフルコンテンツを正確に識別し、分離するための堅牢なメカニズムを提供する。
  論文  参考訳（メタデータ） (2024-08-11T14:56:06Z)
• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• On the Robustness of Large Multimodal Models Against Image Adversarial Attacks [81.2935966933355]
  大規模マルチモーダルモデル(LMM)に対する視覚的敵攻撃の影響について検討する。 一般的に,LMMは視覚的逆入力に対して頑健ではない。 本稿では,クエリ分解と呼ばれる実世界の画像分類への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-06T04:59:56Z)
• Robust Multi-Agent Control via Maximum Entropy Heterogeneous-Agent Reinforcement Learning [65.60470000696944]
  本稿では,マルチエージェント強化学習における課題を解決するために,アンフィストチャスティックな政策を学習するための統一的な枠組みを提案する。 The MaxEnt framework, we propose emphHeterogeneous-Agent Soft Actor-Critic (HASAC) algorithm。 HASACは, Bi-DexHands, Multi-Agent MuJoCo, Pursuit-Evade, StarCraft Multi-Agent Challenge, Google Research Football, Multi-Agent Particle Environment, Light Aircraft Gameの7つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2023-06-19T06:22:02Z)
• Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation [72.6667341525552]
  本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。 提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2022-12-20T10:18:18Z)
• A Multimodal Framework for the Detection of Hateful Memes [16.7604156703965]
  我々は憎しみのあるミームを検出するフレームワークの開発を目指している。 マルチモーダルとアンサンブル学習を促進するために,比較例のアップサンプリングの有効性を示す。 私たちの最良のアプローチは、UNITERベースのモデルのアンサンブルで構成され、80.53のAUROCスコアを達成し、Facebookが主催する2020 Hateful Memes Challengeのフェーズ2で4位になります。
  論文  参考訳（メタデータ） (2020-12-23T18:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。