論文の概要: MEMEX: Detecting Explanatory Evidence for Memes via Knowledge-Enriched Contextualization

• arxiv url: http://arxiv.org/abs/2305.15913v2
• Date: Sat, 27 May 2023 13:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 11:07:11.658316
• Title: MEMEX: Detecting Explanatory Evidence for Memes via Knowledge-Enriched Contextualization
• Title（参考訳）: MEMEX:知識豊か化によるミームの説明的証拠の検出
• Authors: Shivam Sharma, Ramaneswaran S, Udit Arora, Md. Shad Akhtar and Tanmoy Chakraborty
• Abstract要約: 本稿では,ミームと関連する文書を与えられた新しいタスクMEMEXを提案し,ミームの背景を簡潔に説明するコンテキストを掘り下げることを目的とする。 MCCをベンチマークするために,共通感覚に富んだミーム表現を用いたマルチモーダル・ニューラル・フレームワークであるMIMEと,ミームとコンテキスト間の相互モーダルなセマンティック依存関係を捉える階層的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 31.209594252045566
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Memes are a powerful tool for communication over social media. Their affinity for evolving across politics, history, and sociocultural phenomena makes them an ideal communication vehicle. To comprehend the subtle message conveyed within a meme, one must understand the background that facilitates its holistic assimilation. Besides digital archiving of memes and their metadata by a few websites like knowyourmeme.com, currently, there is no efficient way to deduce a meme's context dynamically. In this work, we propose a novel task, MEMEX - given a meme and a related document, the aim is to mine the context that succinctly explains the background of the meme. At first, we develop MCC (Meme Context Corpus), a novel dataset for MEMEX. Further, to benchmark MCC, we propose MIME (MultImodal Meme Explainer), a multimodal neural framework that uses common sense enriched meme representation and a layered approach to capture the cross-modal semantic dependencies between the meme and the context. MIME surpasses several unimodal and multimodal systems and yields an absolute improvement of ~ 4% F1-score over the best baseline. Lastly, we conduct detailed analyses of MIME's performance, highlighting the aspects that could lead to optimal modeling of cross-modal contextual associations.
• Abstract（参考訳）: ミームはソーシャルメディア上でコミュニケーションするための強力なツールだ。 政治、歴史、社会文化的現象にまたがって進化する彼らの親和性は、理想的なコミュニケーション手段となる。 ミーム内で伝達される微妙なメッセージを理解するには、その全体的同化を容易にする背景を理解する必要がある。 knowyourmeme.comのようないくつかのウェブサイトによるミームとそのメタデータのデジタルアーカイブの他に、現在、ミームのコンテキストを動的に推測する効率的な方法は存在しない。 本研究では,新しい課題であるmemexgiven a memeと関連する文書を提案し,memeの背景を簡潔に説明する文脈をマイニングすることを目的としている。 まず,MEMEXのための新しいデータセットであるMCC(Meme Context Corpus)を開発した。 さらに,mccをベンチマークするために,meme (multimodal meme explaineder) を提案する。memeは,meme表現の共通性を利用したマルチモーダルニューラルネットワークフレームワークであり,memeとコンテキスト間の相互モーダルセマンティクス依存性を捉えるための階層的アプローチである。 MIMEはいくつかの単調なマルチモーダルシステムを超え、最高のベースラインに対して 4% F1スコアの絶対的な改善をもたらす。 最後に,mimeの性能に関する詳細な分析を行い,クロスモーダル文脈関係の最適モデリングにつながる可能性のある側面を強調する。

関連論文リスト

• Decoding Memes: A Comparative Study of Machine Learning Models for Template Identification [0.0]
  ミームテンプレート(meme template)は、ミームを作成するのに使用されるレイアウトまたはフォーマットである。 ミームのバイラル性に関する広範な研究にもかかわらず、ミームのテンプレートを自動的に識別する作業は依然として課題である。 本稿では,既存のmemeテンプレート識別手法の総合的な比較と評価を行う。
  論文  参考訳（メタデータ） (2024-08-15T12:52:06Z)
• XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
  社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。 我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。 textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-07-24T10:51:46Z)
• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• PromptMTopic: Unsupervised Multimodal Topic Modeling of Memes using Large Language Models [7.388466146105024]
  テキストと視覚の両方からトピックを学習する新しいマルチモーダルプロンプトベースモデルであるtextPromptMTopicを提案する。 本モデルは,テキストと視覚的モダリティ間の意味的相互作用を考慮して,ミームから学習したトピックを効果的に抽出し,クラスタ化する。 我々の研究は、今日の社会における重要なコミュニケーション形態であるミームの話題とテーマの理解に寄与する。
  論文  参考訳（メタデータ） (2023-12-11T03:36:50Z)
• A Template Is All You Meme [83.05919383106715]
  我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。 我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
  論文  参考訳（メタデータ） (2023-11-11T19:38:14Z)
• Mapping Memes to Words for Multimodal Hateful Meme Classification [26.101116761577796]
  一部のミームは悪意があり、ヘイトフルなコンテンツを宣伝し、差別を永続させる。 マルチモーダルヘイトフルミーム分類のためのISSUESという新しい手法を提案する。 提案手法は,Hateful Memes Challenge と HarMeme データセットの最先端化を実現する。
  論文  参考訳（メタデータ） (2023-10-12T14:38:52Z)
• What do you MEME? Generating Explanations for Visual Semantic Role Labelling in Memes [42.357272117919464]
  ミームにおける視覚的意味的役割のラベル付けに関する説明を生成する新しいタスク-EXCLAIMを導入する。 この目的のために,3種類のエンティティに対する意味的役割の自然言語説明を提供する新しいデータセットであるExHVVをキュレートする。 また,EXCLAIMを最適に扱える新しいマルチモーダル・マルチタスク学習フレームワークであるLUMENを提案する。
  論文  参考訳（メタデータ） (2022-12-01T18:21:36Z)
• Do Images really do the Talking? Analysing the significance of Images in Tamil Troll meme classification [0.16863755729554888]
  我々は,ミームの分類における画像の視覚的特徴の重要性を探究する。 画像とテキストに基づいて,ミームをトロール・ノントロールのミームとして組み込もうとする。
  論文  参考訳（メタデータ） (2021-08-09T09:04:42Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。