論文の概要: Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection

• arxiv url: http://arxiv.org/abs/2407.21004v1
• Date: Tue, 30 Jul 2024 17:51:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 16:21:06.194466
• Title: Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection
• Title（参考訳）: Evolver: ヘイトフルミーム検出のための大規模マルチモーダルモデル向上のための進化の連鎖プロンプト
• Authors: Jinfa Huang, Jinsheng Pan, Zhongwei Wan, Hanjia Lyu, Jiebo Luo,
• Abstract要約: ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。 提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。 Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
• 参考スコア（独自算出の注目度）: 49.122777764853055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances show that two-stream approaches have achieved outstanding performance in hateful meme detection. However, hateful memes constantly evolve as new memes emerge by fusing progressive cultural ideas, making existing methods obsolete or ineffective. In this work, we explore the potential of Large Multimodal Models (LMMs) for hateful meme detection. To this end, we propose Evolver, which incorporates LMMs via Chain-of-Evolution (CoE) Prompting, by integrating the evolution attribute and in-context information of memes. Specifically, Evolver simulates the evolving and expressing process of memes and reasons through LMMs in a step-by-step manner. First, an evolutionary pair mining module retrieves the top-k most similar memes in the external curated meme set with the input meme. Second, an evolutionary information extractor is designed to summarize the semantic regularities between the paired memes for prompting. Finally, a contextual relevance amplifier enhances the in-context hatefulness information to boost the search for evolutionary processes. Extensive experiments on public FHM, MAMI, and HarM datasets show that CoE prompting can be incorporated into existing LMMs to improve their performance. More encouragingly, it can serve as an interpretive tool to promote the understanding of the evolution of social memes.
• Abstract（参考訳）: 最近の進歩は、ヘイトフルミーム検出において、2ストリームアプローチが優れた性能を発揮していることを示している。 しかし、進歩的な文化思想を融合させることによって新しいミームが出現するにつれて、憎しみのあるミームは常に進化し、既存の手法は時代遅れまたは非効率なものとなった。 本研究では, 大規模マルチモーダルモデル (LMM) のハトフルミーム検出の可能性について検討する。 この目的のために、進化属性とミームのテキスト内情報を統合することで、Chein-of-Evolution (CoE) Promptingを介してLMMを組み込むEvolverを提案する。 具体的には、Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現の過程をシミュレートする。 まず、進化的ペアマイニングモジュールは、入力ミームでセットされた外部キュレートされたミームにおいて、トップkで最も類似したミームを検索する。 第二に、進化情報抽出器は、ペア化されたミーム間の意味的規則性を要約してプロンプトするように設計されている。 最後に、文脈関連増幅器は、文脈内ヘイトフルネス情報を強化し、進化過程の探索を促進する。 パブリックなFHM、MAMI、HarMデータセットに関する大規模な実験は、CoEプロンプトを既存のLMMに組み込んでパフォーマンスを向上させることができることを示している。 より奨励的に、それは社会的ミームの進化の理解を促進するための解釈ツールとして機能する。

関連論文リスト

• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• GOAT-Bench: Safety Insights to Large Multimodal Models through Meme-Based Social Abuse [15.632755242069729]
  我々は、暗黙のヘイトスピーチ、サイバーいじめ、性差別などのテーマをカプセル化した6K以上の様々なミームからなる包括的なミームベンチマークGOAT-Benchを紹介した。 我々はLMMがヘイトフルネス、軽蔑、攻撃性、皮肉、有害なコンテンツを正確に評価する能力について検討した。 LMMの幅広い実験により、現在のモデルは安全意識に欠けており、様々な形態の暗黙的虐待に敏感であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-03T03:28:55Z)
• Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning [13.690436954062015]
  本稿では,検索誘導型コントラスト学習により,ヘイトフルネスを考慮した埋め込み空間を構築することを提案する。 提案手法は,87.0のAUROCでHatefulMemesデータセット上での最先端性能を実現し,より大規模なマルチモーダルモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-11-14T12:14:54Z)
• MEMEX: Detecting Explanatory Evidence for Memes via Knowledge-Enriched Contextualization [31.209594252045566]
  本稿では,ミームと関連する文書を与えられた新しいタスクMEMEXを提案し,ミームの背景を簡潔に説明するコンテキストを掘り下げることを目的とする。 MCCをベンチマークするために,共通感覚に富んだミーム表現を用いたマルチモーダル・ニューラル・フレームワークであるMIMEと,ミームとコンテキスト間の相互モーダルなセマンティック依存関係を捉える階層的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-25T10:19:35Z)
• DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation [72.18912216025029]
  偽情報ミームの検出を支援するためにDisinfoMemeを提案する。 このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
  論文  参考訳（メタデータ） (2022-05-25T09:54:59Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)
• Entropy and complexity unveil the landscape of memes evolution [105.59074436693487]
  われわれは、2011年から2020年までの10年間で、Redditから200万のビジュアルミームの進化を研究した。 ミームは新たなインターネットメタ言語の一部であるという仮説を支持する。
  論文  参考訳（メタデータ） (2021-05-26T07:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。