論文の概要: MemeGuard: An LLM and VLM-based Framework for Advancing Content Moderation via Meme Intervention
- arxiv url: http://arxiv.org/abs/2406.05344v1
- Date: Sat, 8 Jun 2024 04:09:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 20:14:35.821104
- Title: MemeGuard: An LLM and VLM-based Framework for Advancing Content Moderation via Meme Intervention
- Title（参考訳）: MemeGuard:memeインターベンションによるコンテンツモデレーション改善のためのLLMおよびVLMベースのフレームワーク
- Authors: Prince Jha, Raghav Jain, Konika Mandal, Aman Chadha, Sriparna Saha, Pushpak Bhattacharyya,
- Abstract要約: textitMemeGuardは,大規模言語モデル(LLM)とビジュアル言語モデル(VLM)を活用した包括的なフレームワークである。
textitMemeGuardは、特別に微調整されたVLM、textitVLMeme、ミーム解釈、マルチモーダルな知識選択とランキング機構を利用する。
我々はtextitICMM を利用して textitMemeGuard をテストする。
- 参考スコア（独自算出の注目度）: 43.849634264271565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the digital world, memes present a unique challenge for content moderation due to their potential to spread harmful content. Although detection methods have improved, proactive solutions such as intervention are still limited, with current research focusing mostly on text-based content, neglecting the widespread influence of multimodal content like memes. Addressing this gap, we present \textit{MemeGuard}, a comprehensive framework leveraging Large Language Models (LLMs) and Visual Language Models (VLMs) for meme intervention. \textit{MemeGuard} harnesses a specially fine-tuned VLM, \textit{VLMeme}, for meme interpretation, and a multimodal knowledge selection and ranking mechanism (\textit{MKS}) for distilling relevant knowledge. This knowledge is then employed by a general-purpose LLM to generate contextually appropriate interventions. Another key contribution of this work is the \textit{\textbf{I}ntervening} \textit{\textbf{C}yberbullying in \textbf{M}ultimodal \textbf{M}emes (ICMM)} dataset, a high-quality, labeled dataset featuring toxic memes and their corresponding human-annotated interventions. We leverage \textit{ICMM} to test \textit{MemeGuard}, demonstrating its proficiency in generating relevant and effective responses to toxic memes.
- Abstract（参考訳）: デジタル世界では、ミームは有害なコンテンツを拡散する可能性があるため、コンテンツモデレーションに固有の課題を提示する。
検出手法は改善されているものの、介入のような積極的な解決策は依然として限られており、現在の研究は主にテキストベースのコンテンツに焦点を当てており、ミームのようなマルチモーダルコンテンツの影響を無視している。
このギャップに対処するために,大言語モデル (LLM) とビジュアル言語モデル (VLM) を活用した包括的なフレームワークである \textit{MemeGuard} を紹介した。
\textit{MemeGuard} は、特殊に微調整された VLM, \textit{VLMeme} をミーム解釈に利用し、関連する知識を蒸留するためにマルチモーダルな知識選択とランキング機構 (\textit{MKS}) を利用する。
この知識は、文脈的に適切な介入を生成するために汎用LLMによって使用される。
この研究のもうひとつの重要な貢献は、 有毒なミームとそれに対応する人間のアノテーションによる介入を特徴とする高品質なラベル付きデータセットである、 \textit{\textbf{I}ntervening} \textit{\textbf{C}yberbullying in \textbf{M}ultimodal \textbf{M}emes (ICMM)}データセットである。
我々は, 有害ミームに対する関連性および効果的な応答を生成する能力を示すために, textit{ICMM} を利用して \textit{MemeGuard} をテストする。
関連論文リスト
- TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。
TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。
画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
論文 参考訳（メタデータ） (2024-09-28T04:37:09Z) - HateSieve: A Contrastive Learning Framework for Detecting and Segmenting Hateful Content in Multimodal Memes [8.97062933976566]
textscHateSieveは、ミーム内の憎しみのある要素の検出とセグメンテーションを強化するために設計されたフレームワークである。
textscHateSieveは、セマンティックなペアのミームを生成するContrastive Meme Generatorを特徴としている。
Hateful Memeでの実証実験では、textscHateSieveはトレーニング可能なパラメータが少なく、既存のLMMを超えるだけでなく、ヘイトフルコンテンツを正確に識別し、分離するための堅牢なメカニズムを提供する。
論文 参考訳（メタデータ） (2024-08-11T14:56:06Z) - Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。
しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。
本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-07-05T17:43:30Z) - MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。
また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
論文 参考訳（メタデータ） (2024-05-18T07:44:41Z) - IITK at SemEval-2024 Task 4: Hierarchical Embeddings for Detection of Persuasion Techniques in Memes [4.679320772294786]
本稿では,この課題に対するクラス定義予測(CDP)と双曲埋め込みに基づくアプローチのアンサンブルを提案する。
我々はHypEmoの階層的なラベル埋め込みと、感情予測のためのマルチタスク学習フレームワークを統合することで、ミーム分類の精度と包括性を向上する。
論文 参考訳（メタデータ） (2024-04-06T06:28:02Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳（メタデータ） (2024-03-14T15:57:13Z) - Beneath the Surface: Unveiling Harmful Memes with Multimodal Reasoning
Distilled from Large Language Models [17.617187709968242]
既存の有害なミーム検出手法は、端から端までの分類方法において、表面的な害を示す信号のみを認識する。
本稿では,多モーダル融合を改善するために,大規模言語モデルから合理的な思考を学習するための新しい生成フレームワークを提案する。
提案手法は,有害ミーム検出タスクにおける最先端手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2023-12-09T01:59:11Z) - MEMEX: Detecting Explanatory Evidence for Memes via Knowledge-Enriched
Contextualization [31.209594252045566]
本稿では,ミームと関連する文書を与えられた新しいタスクMEMEXを提案し,ミームの背景を簡潔に説明するコンテキストを掘り下げることを目的とする。
MCCをベンチマークするために,共通感覚に富んだミーム表現を用いたマルチモーダル・ニューラル・フレームワークであるMIMEと,ミームとコンテキスト間の相互モーダルなセマンティック依存関係を捉える階層的アプローチを提案する。
論文 参考訳（メタデータ） (2023-05-25T10:19:35Z) - What do you MEME? Generating Explanations for Visual Semantic Role
Labelling in Memes [42.357272117919464]
ミームにおける視覚的意味的役割のラベル付けに関する説明を生成する新しいタスク-EXCLAIMを導入する。
この目的のために,3種類のエンティティに対する意味的役割の自然言語説明を提供する新しいデータセットであるExHVVをキュレートする。
また,EXCLAIMを最適に扱える新しいマルチモーダル・マルチタスク学習フレームワークであるLUMENを提案する。
論文 参考訳（メタデータ） (2022-12-01T18:21:36Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。