論文の概要: Explainable Multimodal Sentiment Analysis on Bengali Memes

• arxiv url: http://arxiv.org/abs/2401.09446v1
• Date: Wed, 20 Dec 2023 17:15:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 09:27:10.127550
• Title: Explainable Multimodal Sentiment Analysis on Bengali Memes
• Title（参考訳）: ベンガルミームにおける説明可能なマルチモーダル感情分析
• Authors: Kazi Toufique Elahi, Tasnuva Binte Rahman, Shakil Shahriar, Samir Sarker, Sajib Kumar Saha Joy, Faisal Muhammad Shah
• Abstract要約: ミームの根底にある感情を理解し、解釈することは、情報の時代において重要になっている。 本研究ではResNet50とBanglishBERTを用いたマルチモーダル手法を用いて0.71重み付きF1スコアの良好な結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memes have become a distinctive and effective form of communication in the digital era, attracting online communities and cutting across cultural barriers. Even though memes are frequently linked with humor, they have an amazing capacity to convey a wide range of emotions, including happiness, sarcasm, frustration, and more. Understanding and interpreting the sentiment underlying memes has become crucial in the age of information. Previous research has explored text-based, image-based, and multimodal approaches, leading to the development of models like CAPSAN and PromptHate for detecting various meme categories. However, the study of low-resource languages like Bengali memes remains scarce, with limited availability of publicly accessible datasets. A recent contribution includes the introduction of the MemoSen dataset. However, the achieved accuracy is notably low, and the dataset suffers from imbalanced distribution. In this study, we employed a multimodal approach using ResNet50 and BanglishBERT and achieved a satisfactory result of 0.71 weighted F1-score, performed comparison with unimodal approaches, and interpreted behaviors of the models using explainable artificial intelligence (XAI) techniques.
• Abstract（参考訳）: ミームはデジタル時代に独特で効果的なコミュニケーション形態となり、オンラインコミュニティを惹きつけ、文化的な障壁を越えている。 ミームはユーモアと頻繁に結びついているが、幸福、皮肉、フラストレーションなど、幅広い感情を伝達できる素晴らしい能力を持っている。 ミームの根底にある感情を理解し解釈することは、情報の時代において重要になっている。 これまでの研究では、テキストベース、画像ベース、マルチモーダルアプローチが検討されており、様々なミームカテゴリを検出するためのCAPSANやPromptHateのようなモデルの開発につながっている。 しかし、ベンガルミームのような低リソース言語の研究は少ないままであり、公開アクセス可能なデータセットは限られている。 最近のコントリビューションには、MemoSenデータセットの導入が含まれている。 しかし、達成された精度は顕著に低く、データセットは不均衡な分布に苦しむ。 本研究では,ResNet50とBanglishBERTを用いたマルチモーダル手法を用いて,0.71重み付きF1スコアの満足度を達成し,非モーダル手法との比較を行い,説明可能な人工知能(XAI)技術を用いてモデルの振る舞いを解釈した。

関連論文リスト

• XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
  社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。 我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。 textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-07-24T10:51:46Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。 我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。 データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• BanglaAbuseMeme: A Dataset for Bengali Abusive Meme Classification [11.04522597948877]
  個人やコミュニティを悪用する単純で効果的な方法はミームを作ることである。 このような有害な要素は普及しており、オンラインの安全を脅かしている。 乱用ミームを検知・フラグする効率的なモデルを開発する必要がある。
  論文  参考訳（メタデータ） (2023-10-18T07:10:47Z)
• Unimodal Intermediate Training for Multimodal Meme Sentiment Classification [0.0]
  本報告では、比較的豊富な感情ラベル付き一助データを用いた教師付き中間訓練の新たな変種について述べる。 本結果より, 単文データの導入により, 統計的に有意な性能向上が得られた。 下流モデルの性能を低下させることなく,ラベル付きミームのトレーニングセットを40%削減できることを示す。
  論文  参考訳（メタデータ） (2023-08-01T13:14:10Z)
• SemiMemes: A Semi-supervised Learning Approach for Multimodal Memes Analysis [0.0]
  SemiMemesは、自動エンコーダと分類タスクを組み合わせて、リソース豊富な未ラベルデータを利用する新しいトレーニング手法である。 本研究は、他のマルチモーダル・セミ教師あり学習モデルよりも優れた、マルチモーダル・セミ教師あり学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-31T11:22:03Z)
• DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation [72.18912216025029]
  偽情報ミームの検出を支援するためにDisinfoMemeを提案する。 このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
  論文  参考訳（メタデータ） (2022-05-25T09:54:59Z)
• Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
  我々は有害なミームに焦点を当てた総合的な調査を行っている。 興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。 別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
  論文  参考訳（メタデータ） (2022-05-09T13:43:27Z)
• Multimodal Hate Speech Detection from Bengali Memes and Texts [0.6709991492637819]
  本稿では,マルチモーダルなベンガルミームとテキストからのヘイトスピーチ検出について述べる。 我々は、ヘイトスピーチ検出のためのテキスト情報と視覚情報を分析するために、複数のニューラルネットワークを訓練する。 本研究は,ベンガル語におけるヘイトスピーチ検出にはミームが適度に有用であることが示唆する。
  論文  参考訳（メタデータ） (2022-04-19T11:15:25Z)
• Detecting Hate Speech in Multi-modal Memes [14.036769355498546]
  我々は,マルチモーダルミームにおけるヘイトスピーチ検出に着目し,ミームが興味深いマルチモーダル融合問題を引き起こす。 Facebook Meme Challenge citekiela 2020hatefulは、ミームが憎悪であるかどうかを予測するバイナリ分類問題を解決することを目的としている。
  論文  参考訳（メタデータ） (2020-12-29T18:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。