論文の概要: SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes

• arxiv url: http://arxiv.org/abs/2412.20541v1
• Date: Sun, 29 Dec 2024 18:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:46.560493
• Title: SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes
• Title（参考訳）: SAFE-MEME:ミームにおけるロバストヘイト音声検出のための構造化推論フレームワーク
• Authors: Palash Nandi, Shivam Sharma, Tanmoy Chakraborty,
• Abstract要約: 我々は,Q&Aスタイルの推論と階層的分類を取り入れた新しいフレームワークSAFE-MEMEを導入し,ミームにおける堅牢なヘイトスピーチ検出を実現する。 本研究では,SAFE-MEME-Hにおける単一層アダプタの微調整が,通常の微調整されたモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 21.92545699990274
• License:
• Abstract: Memes act as cryptic tools for sharing sensitive ideas, often requiring contextual knowledge to interpret. This makes moderating multimodal memes challenging, as existing works either lack high-quality datasets on nuanced hate categories or rely on low-quality social media visuals. Here, we curate two novel multimodal hate speech datasets, MHS and MHS-Con, that capture fine-grained hateful abstractions in regular and confounding scenarios, respectively. We benchmark these datasets against several competing baselines. Furthermore, we introduce SAFE-MEME (Structured reAsoning FramEwork), a novel multimodal Chain-of-Thought-based framework employing Q&A-style reasoning (SAFE-MEME-QA) and hierarchical categorization (SAFE-MEME-H) to enable robust hate speech detection in memes. SAFE-MEME-QA outperforms existing baselines, achieving an average improvement of approximately 5% and 4% on MHS and MHS-Con, respectively. In comparison, SAFE-MEME-H achieves an average improvement of 6% in MHS while outperforming only multimodal baselines in MHS-Con. We show that fine-tuning a single-layer adapter within SAFE-MEME-H outperforms fully fine-tuned models in regular fine-grained hateful meme detection. However, the fully fine-tuning approach with a Q&A setup is more effective for handling confounding cases. We also systematically examine the error cases, offering valuable insights into the robustness and limitations of the proposed structured reasoning framework for analyzing hateful memes.
• Abstract（参考訳）: ミームは機密性の高いアイデアを共有するための秘密のツールとして機能し、しばしば解釈するために文脈的な知識を必要とする。 これは、マルチモーダルなミームのモデレーションを困難にしている。既存の作品には、ヌーアンスドヘイトカテゴリーに関する高品質なデータセットがないか、低品質のソーシャルメディアのビジュアルに依存している。 本稿では,MHS と MHS-Con という2つの新しいマルチモーダルヘイトスピーチデータセットをキュレートする。 これらのデータセットを、競合するいくつかのベースラインに対してベンチマークします。 さらに、SAFE-MEME(Structured reAsoning FramEwork)という、Q&Aスタイルの推論(SAFE-MEME-QA)と階層分類(SAFE-MEME-H)を用いた新しいマルチモーダル・チェーン・オブ・ソート・ベースのフレームワークを導入し、ミームにおける堅牢なヘイトスピーチ検出を実現する。 SAFE-MEME-QAは既存のベースラインを上回り、MHSとMHS-Conでそれぞれ平均5%と4%の改善を実現している。 一方,SAFE-MEME-HはMHSでは6%,MHS-Conではマルチモーダルベースラインでは6%に向上した。 本研究では,SAFE-MEME-Hにおける単一層アダプタの微調整が,通常の微調整されたモデルよりも優れていることを示す。 しかし、Q&A設定による完全な微調整アプローチは、相反するケースを扱うのにより効果的である。 また, 誤り事例を体系的に検討し, ヘイトフルミームを解析するための構造化推論フレームワークの堅牢性と限界に関する貴重な知見を提供する。

関連論文リスト

• CUE-M: Contextual Understanding and Enhanced Search with Multimodal Large Language Model [9.224965304457708]
  本稿では,新しいマルチモーダル検索フレームワークであるMLLM (CUE-M) について述べる。 マルチモーダルなQ&Aデータセットとパブリックセーフティベンチマークによる評価は、CUE-Mが精度、知識統合、安全性のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-19T07:16:48Z)
• Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models [50.89022445197919]
  我々は、オープンソースのオーディオLMMが有害な音声質問に対して平均69.14%の攻撃成功率を被っていることを示す。 Gemini-1.5-Proの音声固有のジェイルブレイクは、有害なクエリベンチマークで70.67%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-31T12:11:17Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• HateSieve: A Contrastive Learning Framework for Detecting and Segmenting Hateful Content in Multimodal Memes [8.97062933976566]
  textscHateSieveは、ミーム内の憎しみのある要素の検出とセグメンテーションを強化するために設計されたフレームワークである。 textscHateSieveは、セマンティックなペアのミームを生成するContrastive Meme Generatorを特徴としている。 Hateful Memeでの実証実験では、textscHateSieveはトレーニング可能なパラメータが少なく、既存のLMMを超えるだけでなく、ヘイトフルコンテンツを正確に識別し、分離するための堅牢なメカニズムを提供する。
  論文  参考訳（メタデータ） (2024-08-11T14:56:06Z)
• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• On the Robustness of Large Multimodal Models Against Image Adversarial Attacks [81.2935966933355]
  大規模マルチモーダルモデル(LMM)に対する視覚的敵攻撃の影響について検討する。 一般的に,LMMは視覚的逆入力に対して頑健ではない。 本稿では,クエリ分解と呼ばれる実世界の画像分類への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-06T04:59:56Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation [72.6667341525552]
  本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。 提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2022-12-20T10:18:18Z)
• Improving Automatic Hate Speech Detection with Multiword Expression Features [9.22217348720745]
  自動ヘイトスピーチ検出(HSD)のための単語レベルの新しい特徴として,マルチワード表現(MWE)を提案する。 MWEは、慣用的で構成的な意味を持つ単語よりも大きい語彙単位である。 実験の結果,MWE特徴を持つHSDシステムはマクロF1の点でベースラインシステムよりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-06-01T05:30:29Z)
• A Multimodal Framework for the Detection of Hateful Memes [16.7604156703965]
  我々は憎しみのあるミームを検出するフレームワークの開発を目指している。 マルチモーダルとアンサンブル学習を促進するために,比較例のアップサンプリングの有効性を示す。 私たちの最良のアプローチは、UNITERベースのモデルのアンサンブルで構成され、80.53のAUROCスコアを達成し、Facebookが主催する2020 Hateful Memes Challengeのフェーズ2で4位になります。
  論文  参考訳（メタデータ） (2020-12-23T18:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。