論文の概要: Large Vision-Language Models for Knowledge-Grounded Data Annotation of Memes

• arxiv url: http://arxiv.org/abs/2501.13851v1
• Date: Thu, 23 Jan 2025 17:18:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:57:34.204789
• Title: Large Vision-Language Models for Knowledge-Grounded Data Annotation of Memes
• Title（参考訳）: ミームの知識付きデータアノテーションのための大規模視覚言語モデル
• Authors: Shiling Deng, Serge Belongie, Peter Ebert Christensen,
• Abstract要約: 本研究は,50種類のミームテンプレートを中心とした33,000以上のミームからなる大規模データセットであるClassic Memes-50-templates (CM50)を紹介する。 また,大規模な視覚言語モデルを利用して,高品質な画像キャプション,ミームキャプション,文芸機器ラベルを自動生成するアノテーションパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 5.243460995467895
• License:
• Abstract: Memes have emerged as a powerful form of communication, integrating visual and textual elements to convey humor, satire, and cultural messages. Existing research has focused primarily on aspects such as emotion classification, meme generation, propagation, interpretation, figurative language, and sociolinguistics, but has often overlooked deeper meme comprehension and meme-text retrieval. To address these gaps, this study introduces ClassicMemes-50-templates (CM50), a large-scale dataset consisting of over 33,000 memes, centered around 50 popular meme templates. We also present an automated knowledge-grounded annotation pipeline leveraging large vision-language models to produce high-quality image captions, meme captions, and literary device labels overcoming the labor intensive demands of manual annotation. Additionally, we propose a meme-text retrieval CLIP model (mtrCLIP) that utilizes cross-modal embedding to enhance meme analysis, significantly improving retrieval performance. Our contributions include:(1) a novel dataset for large-scale meme study, (2) a scalable meme annotation framework, and (3) a fine-tuned CLIP for meme-text retrieval, all aimed at advancing the understanding and analysis of memes at scale.
• Abstract（参考訳）: ミームはコミュニケーションの強力な形態として現れ、ユーモア、風刺、文化的なメッセージを伝えるために視覚的およびテキスト的要素を統合する。 既存の研究は主に感情分類、ミーム生成、伝播、解釈、図形言語、社会言語学といった側面に焦点を合わせてきたが、しばしばミーム理解とミームテキスト検索を見落としてきた。 これらのギャップに対処するために,約33,000のミームからなる大規模データセットであるClassic Memes-50-templates (CM50)を紹介した。 また,大規模な視覚言語モデルを利用して,高品質な画像キャプション,ミームキャプション,文体ラベルを自動生成し,手作業によるアノテーションの要求を克服する。 さらに, クロスモーダル埋め込みを利用して, ミーム解析を強化し, 検索性能を著しく向上するmeme-text search CLIPモデル(mtrCLIP)を提案する。 1)大規模ミーム研究のための新しいデータセット,(2)スケーラブルなミームアノテーションフレームワーク,(3)ミームテキスト検索のための微調整CLIP。

関連論文リスト

• Decoding Memes: A Comparative Study of Machine Learning Models for Template Identification [0.0]
  ミームテンプレート(meme template)は、ミームを作成するのに使用されるレイアウトまたはフォーマットである。 ミームのバイラル性に関する広範な研究にもかかわらず、ミームのテンプレートを自動的に識別する作業は依然として課題である。 本稿では,既存のmemeテンプレート識別手法の総合的な比較と評価を行う。
  論文  参考訳（メタデータ） (2024-08-15T12:52:06Z)
• XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
  社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。 我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。 textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-07-24T10:51:46Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• PromptMTopic: Unsupervised Multimodal Topic Modeling of Memes using Large Language Models [7.388466146105024]
  テキストと視覚の両方からトピックを学習する新しいマルチモーダルプロンプトベースモデルであるtextPromptMTopicを提案する。 本モデルは,テキストと視覚的モダリティ間の意味的相互作用を考慮して,ミームから学習したトピックを効果的に抽出し,クラスタ化する。 我々の研究は、今日の社会における重要なコミュニケーション形態であるミームの話題とテーマの理解に寄与する。
  論文  参考訳（メタデータ） (2023-12-11T03:36:50Z)
• A Template Is All You Meme [83.05919383106715]
  我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。 我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
  論文  参考訳（メタデータ） (2023-11-11T19:38:14Z)
• MEMEX: Detecting Explanatory Evidence for Memes via Knowledge-Enriched Contextualization [31.209594252045566]
  本稿では,ミームと関連する文書を与えられた新しいタスクMEMEXを提案し,ミームの背景を簡潔に説明するコンテキストを掘り下げることを目的とする。 MCCをベンチマークするために,共通感覚に富んだミーム表現を用いたマルチモーダル・ニューラル・フレームワークであるMIMEと,ミームとコンテキスト間の相互モーダルなセマンティック依存関係を捉える階層的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-25T10:19:35Z)
• What do you MEME? Generating Explanations for Visual Semantic Role Labelling in Memes [42.357272117919464]
  ミームにおける視覚的意味的役割のラベル付けに関する説明を生成する新しいタスク-EXCLAIMを導入する。 この目的のために,3種類のエンティティに対する意味的役割の自然言語説明を提供する新しいデータセットであるExHVVをキュレートする。 また,EXCLAIMを最適に扱える新しいマルチモーダル・マルチタスク学習フレームワークであるLUMENを提案する。
  論文  参考訳（メタデータ） (2022-12-01T18:21:36Z)
• Caption Enriched Samples for Improving Hateful Memes Detection [78.5136090997431]
  憎しみのあるミームの挑戦は、ミームが憎悪であるか否かを決定するのが困難であることを示している。 ユニモーダル言語モデルとマルチモーダル視覚言語モデルの両方が人間のパフォーマンスレベルに到達できない。
  論文  参考訳（メタデータ） (2021-09-22T10:57:51Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。