論文の概要: Mapping Memes to Words for Multimodal Hateful Meme Classification

• arxiv url: http://arxiv.org/abs/2310.08368v1
• Date: Thu, 12 Oct 2023 14:38:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 09:13:56.893089
• Title: Mapping Memes to Words for Multimodal Hateful Meme Classification
• Title（参考訳）: マルチモーダルなHateful Meme分類のための単語へのミームマッピング
• Authors: Giovanni Burbi, Alberto Baldrati, Lorenzo Agnolucci, Marco Bertini, Alberto Del Bimbo
• Abstract要約: 一部のミームは悪意があり、ヘイトフルなコンテンツを宣伝し、差別を永続させる。 マルチモーダルヘイトフルミーム分類のためのISSUESという新しい手法を提案する。 提案手法は,Hateful Memes Challenge と HarMeme データセットの最先端化を実現する。
• 参考スコア（独自算出の注目度）: 26.101116761577796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal image-text memes are prevalent on the internet, serving as a unique form of communication that combines visual and textual elements to convey humor, ideas, or emotions. However, some memes take a malicious turn, promoting hateful content and perpetuating discrimination. Detecting hateful memes within this multimodal context is a challenging task that requires understanding the intertwined meaning of text and images. In this work, we address this issue by proposing a novel approach named ISSUES for multimodal hateful meme classification. ISSUES leverages a pre-trained CLIP vision-language model and the textual inversion technique to effectively capture the multimodal semantic content of the memes. The experiments show that our method achieves state-of-the-art results on the Hateful Memes Challenge and HarMeme datasets. The code and the pre-trained models are publicly available at https://github.com/miccunifi/ISSUES.
• Abstract（参考訳）: マルチモーダル画像テキストミームはインターネット上で普及しており、ユーモア、アイデア、感情を伝えるために視覚的およびテキスト的要素を組み合わせたユニークなコミュニケーション形態として機能する。 しかし、一部のミームは悪意があり、憎悪なコンテンツを促進し、差別を永続させる。 このマルチモーダルコンテキスト内で憎しみのあるミームを検出することは、テキストと画像の相互に結びついた意味を理解することを必要とする難しいタスクである。 本稿では,マルチモーダル・ヘイトフル・ミーム分類のためのイシューと呼ばれる新しいアプローチを提案することで,この問題に対処した。 ISSUESは、事前訓練されたCLIPビジョン言語モデルとテキストインバージョン技術を利用して、ミームのマルチモーダルなセマンティックコンテンツを効果的にキャプチャする。 実験の結果,Hateful Memes Challenge と HarMeme のデータセットにおける最先端の成果が得られた。 コードと事前学習されたモデルはhttps://github.com/miccunifi/issuesで公開されている。

関連論文リスト

• XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
  社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。 我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。 textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-07-24T10:51:46Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• Beneath the Surface: Unveiling Harmful Memes with Multimodal Reasoning Distilled from Large Language Models [17.617187709968242]
  既存の有害なミーム検出手法は、端から端までの分類方法において、表面的な害を示す信号のみを認識する。 本稿では,多モーダル融合を改善するために,大規模言語モデルから合理的な思考を学習するための新しい生成フレームワークを提案する。 提案手法は,有害ミーム検出タスクにおける最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-12-09T01:59:11Z)
• A Template Is All You Meme [83.05919383106715]
  我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。 我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
  論文  参考訳（メタデータ） (2023-11-11T19:38:14Z)
• On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive Learning [18.794226796466962]
  複数の画像から視覚要素を合成したり、テキスト情報をヘイトフル画像と融合させたりすることで、ヘイトフルミームがどのように生成されるかを研究する。 4chanから抽出したデータセット上の我々のフレームワークを用いて、Happy Merchantミームの3.3K変種を見つける。 我々のフレームワークは、ヘイトフルミームの新たな変種をフラグ付けすることで、人間のモデレーターを助けることができると期待している。
  論文  参考訳（メタデータ） (2022-12-13T13:38:04Z)
• DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation [72.18912216025029]
  偽情報ミームの検出を支援するためにDisinfoMemeを提案する。 このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
  論文  参考訳（メタデータ） (2022-05-25T09:54:59Z)
• Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
  我々は有害なミームに焦点を当てた総合的な調査を行っている。 興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。 別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
  論文  参考訳（メタデータ） (2022-05-09T13:43:27Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)
• Detecting Hate Speech in Memes Using Multimodal Deep Learning Approaches: Prize-winning solution to Hateful Memes Challenge [0.0]
  Hateful Memes Challengeは、マルチモーダルミームでヘイトスピーチを検出することに焦点を当てた、初めてのコンペティションです。 画像やキャプションをマルチモーダルにトレーニングした VisualBERT -- 視覚と言語のBERT - を活用しています。 提案手法は,チャレンジテストセットの精度0.765の0.811 AUROCを達成し,Hateful Memes Challengeの参加者3,173名中3位に位置づけた。
  論文  参考訳（メタデータ） (2020-12-23T21:09:52Z)
• Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
  本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。 本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
  論文  参考訳（メタデータ） (2020-11-25T16:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。