論文の概要: Emotion-Aware Multimodal Fusion for Meme Emotion Detection
- arxiv url: http://arxiv.org/abs/2403.10279v1
- Date: Fri, 15 Mar 2024 13:20:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 17:11:11.104661
- Title: Emotion-Aware Multimodal Fusion for Meme Emotion Detection
- Title（参考訳）: 感情認識型マルチモーダルフュージョンによる感情検出
- Authors: Shivam Sharma, Ramaneswaran S, Md. Shad Akhtar, Tanmoy Chakraborty,
- Abstract要約: MOOD(Meme emOtiOns データセット)は6つの基本的な感情を具現化する。
ALFRED (emotion-Aware muLtimodal Fusion foR Emotion Detection) は感情に富んだ視覚的手がかりを明示的にモデル化する。
- 参考スコア（独自算出の注目度）: 37.86468816979694
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The ever-evolving social media discourse has witnessed an overwhelming use of memes to express opinions or dissent. Besides being misused for spreading malcontent, they are mined by corporations and political parties to glean the public's opinion. Therefore, memes predominantly offer affect-enriched insights towards ascertaining the societal psyche. However, the current approaches are yet to model the affective dimensions expressed in memes effectively. They rely extensively on large multimodal datasets for pre-training and do not generalize well due to constrained visual-linguistic grounding. In this paper, we introduce MOOD (Meme emOtiOns Dataset), which embodies six basic emotions. We then present ALFRED (emotion-Aware muLtimodal Fusion foR Emotion Detection), a novel multimodal neural framework that (i) explicitly models emotion-enriched visual cues, and (ii) employs an efficient cross-modal fusion via a gating mechanism. Our investigation establishes ALFRED's superiority over existing baselines by 4.94% F1. Additionally, ALFRED competes strongly with previous best approaches on the challenging Memotion task. We then discuss ALFRED's domain-agnostic generalizability by demonstrating its dominance on two recently-released datasets - HarMeme and Dank Memes, over other baselines. Further, we analyze ALFRED's interpretability using attention maps. Finally, we highlight the inherent challenges posed by the complex interplay of disparate modality-specific cues toward meme analysis.
- Abstract（参考訳）: 絶え間なく進化するソーシャルメディアの談話は、意見や不満を表現するためにミームの圧倒的な使用を目撃している。
悪口を広めるために悪用されているだけでなく、企業や政党が大衆の意見を集めるために採掘している。
したがって、ミームは、主に社会的精神の把握に対する感情に富んだ洞察を与える。
しかし、現在のアプローチはまだミームで表される感情的な次元を効果的にモデル化していない。
それらは事前学習のために大規模なマルチモーダルデータセットに大きく依存しており、制約のある視覚言語的接地のためにうまく一般化しない。
本稿では,6つの基本的な感情を具現化したMOOD(Meme emOtiOns Dataset)を紹介する。
次に、新しいマルチモーダルニューラルネットワークであるALFRED(emotion-Aware muLtimodal Fusion foR Emotion Detection)を提案する。
(i)感情に富んだ視覚的手がかりを明示的にモデル化し、
(ii) ゲーティング機構を介して効率的なクロスモーダル融合を用いる。
調査の結果,ALFREDの既存ベースラインに対する優位性は4.94%向上した。
さらに、ALFREDは、挑戦的なMemotionタスクに関する以前のベストアプローチと強く競合する。
次に、ALFREDが最近リリースした2つのデータセット(HarMemeとDank Memes)に対して、他のベースラインに対して優位性を示すことによって、ドメインに依存しない一般化性について論じる。
さらに,アテンションマップを用いたALFREDの解釈可能性の解析を行った。
最後に,異なるモダリティ特化課題の複雑な相互作用によって引き起こされる課題を,ミーム分析に焦点をあてる。
関連論文リスト
- Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes
Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。
ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文 参考訳（メタデータ） (2024-01-18T11:24:30Z) - DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally
Spreading Out Disinformation [72.18912216025029]
偽情報ミームの検出を支援するためにDisinfoMemeを提案する。
このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
論文 参考訳（メタデータ） (2022-05-25T09:54:59Z) - DISARM: Detecting the Victims Targeted by Harmful Memes [49.12165815990115]
DISARMは、有害なミームを検出するために名前付きエンティティ認識と個人識別を使用するフレームワークである。
DISARMは10の単一モーダル・マルチモーダルシステムより著しく優れていることを示す。
複数の強力なマルチモーダルライバルに対して、有害なターゲット識別の相対誤差率を最大9ポイントまで下げることができる。
論文 参考訳（メタデータ） (2022-05-11T19:14:26Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z) - Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the
Lens of Facebook's Challenge [10.775419935941008]
我々は,現在最先端のマルチモーダル機械学習モデルのヘイトフルミーム検出に対する有効性を評価する。
4chanの"Politically Incorrect"ボード(/pol/)とFacebookのHateful Memes Challengeデータセットの12,140と10,567の2つのベンチマークデータセットを使用します。
分類性能におけるマルチモーダリティの重要性,主流のソーシャルプラットフォーム上でのWebコミュニティの影響力,その逆の3つの実験を行った。
論文 参考訳（メタデータ） (2022-02-17T07:52:22Z) - MOMENTA: A Multimodal Framework for Detecting Harmful Memes and Their
Targets [28.877314859737197]
我々は,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題を解決しようとしている。
特に,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題の解決を目指す。
我々は,世界的および地域的視点を用いて有害ミームを検出する,新しいマルチモーダル(テキスト+画像)ディープニューラルモデルMOMENTAを提案する。
論文 参考訳（メタデータ） (2021-09-11T04:29:32Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳（メタデータ） (2021-08-18T21:55:20Z) - SemEval-2020 Task 8: Memotion Analysis -- The Visuo-Lingual Metaphor! [20.55903557920223]
本提案の目的は,インターネットミームの自動処理に研究コミュニティの注意を向けることである。
タスクMemotion分析は、10Kのアノテートミームをリリースし、人間のアノテートラベルは感情(肯定的、否定的、中立的)、感情のタイプ(皮肉的、面白い、攻撃的、動機的、動機的)とそれに対応する強さである。
課題は、ミームの感情(肯定的、否定的、中立的)分析、全体的な感情(感情、皮肉、攻撃的、動機的)分類、ミームの強さの分類である。
論文 参考訳（メタデータ） (2020-08-09T18:17:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。