論文の概要: Decoding the Underlying Meaning of Multimodal Hateful Memes

• arxiv url: http://arxiv.org/abs/2305.17678v2
• Date: Mon, 19 Jun 2023 17:07:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 01:41:59.679020
• Title: Decoding the Underlying Meaning of Multimodal Hateful Memes
• Title（参考訳）: マルチモーダルハテフルミームの下位意味をデコードする
• Authors: Ming Shan Hee, Wen-Haw Chong and Roy Ka-Wei Lee
• Abstract要約: 本稿では,Hateful meme with Reasons dataset (HatReD)を紹介する。 HatReDは新しいマルチモーダルなヘイトフルなミームデータセットで、その基盤となるヘイトフルなコンテキスト的理由を注釈付けしている。 また、ヘイトフルミームを説明するための基本的な理由を自動的に生成することを目的とした、新しい条件生成タスクも定義する。
• 参考スコア（独自算出の注目度）: 4.509263496823139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have proposed models that yielded promising performance for the hateful meme classification task. Nevertheless, these proposed models do not generate interpretable explanations that uncover the underlying meaning and support the classification output. A major reason for the lack of explainable hateful meme methods is the absence of a hateful meme dataset that contains ground truth explanations for benchmarking or training. Intuitively, having such explanations can educate and assist content moderators in interpreting and removing flagged hateful memes. This paper address this research gap by introducing Hateful meme with Reasons Dataset (HatReD), which is a new multimodal hateful meme dataset annotated with the underlying hateful contextual reasons. We also define a new conditional generation task that aims to automatically generate underlying reasons to explain hateful memes and establish the baseline performance of state-of-the-art pre-trained language models on this task. We further demonstrate the usefulness of HatReD by analyzing the challenges of the new conditional generation task in explaining memes in seen and unseen domains. The dataset and benchmark models are made available here: https://github.com/Social-AI-Studio/HatRed
• Abstract（参考訳）: 近年、ヘイトフルミーム分類タスクに有望な性能をもたらすモデルが提案されている。 それにもかかわらず、これらのモデルは基礎となる意味を解明し、分類出力をサポートする解釈可能な説明を生成しない。 説明可能な憎悪のミームメソッドが欠如している主な理由は、ベンチマークやトレーニングのための根拠となる真実の説明を含む憎悪のミームデータセットがないことである。 直感的には、そのような説明を持つことで、コンテンツモデレーターがフラグのある憎しみのあるミームを解釈し、取り除くことを教育し、支援することができる。 本稿では,憎悪の背景にある文脈的理由にアノテートされた,新しいマルチモーダルな憎悪のミームデータセットであるdataset (hatred)を導入することで,この研究のギャップを解決する。 また、ヘイトフルミームを説明するための基礎となる理由を自動的に生成し、この課題に基づいて最先端の訓練済み言語モデルのベースライン性能を確立することを目的とした、新しい条件生成タスクも定義する。 我々はさらに、新しい条件生成タスクの課題を分析し、目に見える領域や見えない領域におけるミームを説明することで、HatReDの有用性を実証する。 データセットとベンチマークモデルはここで利用可能である。

関連論文リスト

• Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
  ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。 提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。 Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
  論文  参考訳（メタデータ） (2024-07-30T17:51:44Z)
• Zero shot VLMs for hate meme detection: Are we there yet? [9.970031080934003]
  本研究では,ヘイト・ミーム検出などの複雑なタスクに対する視覚言語モデルの有効性について検討した。 我々は、大きなVLMが未だにゼロショットのヘイトミーム検出に弱いことを観察する。
  論文  参考訳（メタデータ） (2024-02-19T15:03:04Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• Beneath the Surface: Unveiling Harmful Memes with Multimodal Reasoning Distilled from Large Language Models [17.617187709968242]
  既存の有害なミーム検出手法は、端から端までの分類方法において、表面的な害を示す信号のみを認識する。 本稿では,多モーダル融合を改善するために,大規模言語モデルから合理的な思考を学習するための新しい生成フレームワークを提案する。 提案手法は,有害ミーム検出タスクにおける最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-12-09T01:59:11Z)
• A Template Is All You Meme [83.05919383106715]
  我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。 我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
  論文  参考訳（メタデータ） (2023-11-11T19:38:14Z)
• Prompting for Multimodal Hateful Meme Classification [13.437669262442888]
  本稿では,ヘイトフルミーム分類のための事前学習型言語モデルであるPromptHateを提案する。 我々は、公開可能な2つのヘイトフルおよび攻撃的なミームデータセットに対して広範な実験を行う。 実験の結果,PromptHateは90.96のAUCを達成でき,ヘイトフルなミーム分類タスクにおいて最先端のベースラインを達成できることがわかった。
  論文  参考訳（メタデータ） (2023-02-08T16:04:08Z)
• DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation [72.18912216025029]
  偽情報ミームの検出を支援するためにDisinfoMemeを提案する。 このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
  論文  参考訳（メタデータ） (2022-05-25T09:54:59Z)
• On Explaining Multimodal Hateful Meme Detection Models [4.509263496823139]
  これらのモデルがマルチモーダルでデロゲーションまたはスラー参照をキャプチャできるかどうかは不明である。 その結果,画像のモダリティは,憎しみに満ちたミーム分類タスクに寄与することが判明した。 誤差分析の結果,視覚言語モデルではバイアスが得られ,偽陽性の予測が得られた。
  論文  参考訳（メタデータ） (2022-04-04T15:35:41Z)
• Caption Enriched Samples for Improving Hateful Memes Detection [78.5136090997431]
  憎しみのあるミームの挑戦は、ミームが憎悪であるか否かを決定するのが困難であることを示している。 ユニモーダル言語モデルとマルチモーダル視覚言語モデルの両方が人間のパフォーマンスレベルに到達できない。
  論文  参考訳（メタデータ） (2021-09-22T10:57:51Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。