論文の概要: Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations

• arxiv url: http://arxiv.org/abs/2401.09899v1
• Date: Thu, 18 Jan 2024 11:24:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 16:58:48.111153
• Title: Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations
• Title（参考訳）: meme-ingful analysis:マルチモーダルな説明によるmemeにおけるサイバーいじめの理解の強化
• Authors: Prince Jha, Krishanu Maity, Raghav Jain, Apoorv Verma, Sriparna Saha, Pushpak Bhattacharyya
• Abstract要約: Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
• 参考スコア（独自算出の注目度）: 48.82168723932981
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Internet memes have gained significant influence in communicating political, psychological, and sociocultural ideas. While memes are often humorous, there has been a rise in the use of memes for trolling and cyberbullying. Although a wide variety of effective deep learning-based models have been developed for detecting offensive multimodal memes, only a few works have been done on explainability aspect. Recent laws like "right to explanations" of General Data Protection Regulation, have spurred research in developing interpretable models rather than only focusing on performance. Motivated by this, we introduce {\em MultiBully-Ex}, the first benchmark dataset for multimodal explanation from code-mixed cyberbullying memes. Here, both visual and textual modalities are highlighted to explain why a given meme is cyberbullying. A Contrastive Language-Image Pretraining (CLIP) projection-based multimodal shared-private multitask approach has been proposed for visual and textual explanation of a meme. Experimental results demonstrate that training with multimodal explanations improves performance in generating textual justifications and more accurately identifying the visual evidence supporting a decision with reliable performance improvements.
• Abstract（参考訳）: インターネットミームは政治的、心理学的、社会文化的アイデアを伝えることに大きな影響を与えている。 ミームはユーモラスなものが多いが、トロールやサイバーいじめにミームが使われるようになった。 攻撃的マルチモーダルミームを検出するために,多種多様な効果的な深層学習モデルが開発されているが,説明可能性に関する研究は少ない。 一般データ保護規則の「説明の権利」のような最近の法律は、パフォーマンスのみに焦点をあてるのではなく、解釈可能なモデルを開発する研究を刺激している。 そこで我々は,コード混在型サイバーいじめミームによるマルチモーダルな説明のための最初のベンチマークデータセットである {\em MultiBully-Ex} を紹介した。 ここで、視覚とテキストのモダリティが強調され、ミームがサイバーいじめである理由が説明される。 Contrastive Language-Image Pretraining (CLIP)プロジェクションに基づくマルチモーダルな共有プライベートマルチタスクアプローチが,ミームの視覚的およびテキスト的説明のために提案されている。 実験結果から,マルチモーダルな説明を用いたトレーニングにより,テキストの正当性の生成性能が向上することが示された。

関連論文リスト

• Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
  ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。 提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。 Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
  論文  参考訳（メタデータ） (2024-07-30T17:51:44Z)
• XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
  社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。 我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。 textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-07-24T10:51:46Z)
• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• Towards Explainable Harmful Meme Detection through Multimodal Debate between Large Language Models [18.181154544563416]
  ソーシャルメディアの時代はインターネットのミームで溢れており、有害なものを明確に把握し、効果的に識別する必要がある。 既存の有害なミーム検出手法では、検出決定を支援するためにそのような暗黙的な意味を明らかにする読みやすい説明は提示されない。 本研究では,無害な位置と有害な位置の両方から矛盾する合理性を推論することで,有害なミームを検出するための説明可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-01-24T08:37:16Z)
• Explain Thyself Bully: Sentiment Aided Cyberbullying Detection with Explanation [52.3781496277104]
  さまざまなソーシャルメディアネットワークやオンラインコミュニケーションアプリの人気により、サイバーいじめが大きな問題になっている。 一般データ保護規則の「説明の権利」のような近年の法律は、解釈可能なモデルの開発に拍車をかけた。 我々は,コード混在言語からの自動サイバーバブル検出のための,mExCBと呼ばれる最初の解釈可能なマルチタスクモデルを開発した。
  論文  参考訳（メタデータ） (2024-01-17T07:36:22Z)
• Beneath the Surface: Unveiling Harmful Memes with Multimodal Reasoning Distilled from Large Language Models [17.617187709968242]
  既存の有害なミーム検出手法は、端から端までの分類方法において、表面的な害を示す信号のみを認識する。 本稿では,多モーダル融合を改善するために,大規模言語モデルから合理的な思考を学習するための新しい生成フレームワークを提案する。 提案手法は,有害ミーム検出タスクにおける最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-12-09T01:59:11Z)
• Mapping Memes to Words for Multimodal Hateful Meme Classification [26.101116761577796]
  一部のミームは悪意があり、ヘイトフルなコンテンツを宣伝し、差別を永続させる。 マルチモーダルヘイトフルミーム分類のためのISSUESという新しい手法を提案する。 提案手法は,Hateful Memes Challenge と HarMeme データセットの最先端化を実現する。
  論文  参考訳（メタデータ） (2023-10-12T14:38:52Z)
• Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the Lens of Facebook's Challenge [10.775419935941008]
  我々は,現在最先端のマルチモーダル機械学習モデルのヘイトフルミーム検出に対する有効性を評価する。 4chanの"Politically Incorrect"ボード(/pol/)とFacebookのHateful Memes Challengeデータセットの12,140と10,567の2つのベンチマークデータセットを使用します。 分類性能におけるマルチモーダリティの重要性,主流のソーシャルプラットフォーム上でのWebコミュニティの影響力,その逆の3つの実験を行った。
  論文  参考訳（メタデータ） (2022-02-17T07:52:22Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)
• Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
  本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。 本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
  論文  参考訳（メタデータ） (2020-11-25T16:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。