論文の概要: Beyond Meme Templates: Limitations of Visual Similarity Measures in Meme Matching
- arxiv url: http://arxiv.org/abs/2508.03562v1
- Date: Tue, 05 Aug 2025 15:31:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:56.047431
- Title: Beyond Meme Templates: Limitations of Visual Similarity Measures in Meme Matching
- Title（参考訳）: ミームテンプレートを超えて: ミームマッチングにおける視覚的類似度対策の限界
- Authors: Muzhaffar Hazman, Susan McKeever, Josephine Griffith,
- Abstract要約: テンプレートマッチングを超えて拡張されたミームマッチングのより広範な定式化を導入する。
従来の類似度尺度はテンプレートベースミームのマッチングでは優れているが,非テンプレートベースミームに適用した場合は低下することを示す。
私たちの結果は、背景テンプレートだけでなく、共有視覚要素によるミームの正確なマッチングが依然としてオープンな課題であることを示している。
- 参考スコア（独自算出の注目度）: 0.9217021281095907
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Internet memes, now a staple of digital communication, play a pivotal role in how users engage within online communities and allow researchers to gain insight into contemporary digital culture. These engaging user-generated content are characterised by their reuse of visual elements also found in other memes. Matching instances of memes via these shared visual elements, called Meme Matching, is the basis of a wealth of meme analysis approaches. However, most existing methods assume that every meme consists of a shared visual background, called a Template, with some overlaid text, thereby limiting meme matching to comparing the background image alone. Current approaches exclude the many memes that are not template-based and limit the effectiveness of automated meme analysis and would not be effective at linking memes to contemporary web-based meme dictionaries. In this work, we introduce a broader formulation of meme matching that extends beyond template matching. We show that conventional similarity measures, including a novel segment-wise computation of the similarity measures, excel at matching template-based memes but fall short when applied to non-template-based meme formats. However, the segment-wise approach was found to consistently outperform the whole-image measures on matching non-template-based memes. Finally, we explore a prompting-based approach using a pretrained Multimodal Large Language Model for meme matching. Our results highlight that accurately matching memes via shared visual elements, not just background templates, remains an open challenge that requires more sophisticated matching techniques.
- Abstract（参考訳）: インターネットのミームは今やデジタルコミュニケーションの根幹であり、オンラインコミュニティ内でユーザーがどのように関わり、研究者が現代のデジタル文化に関する洞察を得るための重要な役割を担っている。
これらの魅力的なユーザ生成コンテンツは、他のミームに見られる視覚要素の再利用によって特徴づけられる。
これらの共有視覚要素によるミームのマッチング例は、ミーム分析アプローチの豊富な基盤となっている。
しかしながら、既存のほとんどのメソッドは、すべてのミームがテンプレートと呼ばれる共有のビジュアル背景から成り、オーバーレイテキストがいくつかあると仮定しているため、ミームマッチングは背景画像のみの比較に制限される。
現在のアプローチでは、テンプレートベースではない多くのミームを排除し、自動ミーム分析の有効性を制限し、現代のWebベースのミーム辞書とミームをリンクするのに効果的ではない。
本稿では,テンプレートマッチングを超えて拡張されたミームマッチングのより広範な定式化を導入する。
従来の類似度尺度は,テンプレートベースのミームに適合するが,非テンプレートベースのミーム形式に適用した場合は不足する。
しかし、セグメントワイドアプローチは、非テンプレートベースのミームの整合性に関する全体像尺度を一貫して上回ることがわかった。
最後に,ミームマッチングのための事前学習型マルチモーダル大言語モデルを用いたプロンプトベースアプローチについて検討する。
我々の結果は、背景テンプレートだけでなく、共有視覚要素によるミームの正確なマッチングが、より洗練されたマッチング技術を必要とするオープンな課題であることを示している。
関連論文リスト
- MemeReaCon: Probing Contextual Meme Understanding in Large Vision-Language Models [50.2355423914562]
我々は,LVLM(Large Vision Language Models)がミームを本来の文脈でどのように理解するかを評価するために設計された,新しいベンチマークであるMemeReaConを紹介する。
私たちは5つのRedditコミュニティからミームを収集し、各ミームの画像、ポストテキスト、ユーザーコメントを一緒に保持しました。
モデルは文脈において重要な情報を解釈できないか、あるいはコミュニケーション目的を見越しながら視覚的詳細に過度に焦点を合わせるかのどちらかです。
論文 参考訳（メタデータ） (2025-05-23T03:27:23Z) - Large Vision-Language Models for Knowledge-Grounded Data Annotation of Memes [5.243460995467895]
本研究は,50種類のミームテンプレートを中心とした33,000以上のミームからなる大規模データセットであるClassic Memes-50-templates (CM50)を紹介する。
また,大規模な視覚言語モデルを利用して,高品質な画像キャプション,ミームキャプション,文芸機器ラベルを自動生成するアノテーションパイプラインを提案する。
論文 参考訳（メタデータ） (2025-01-23T17:18:30Z) - Decoding Memes: A Comparative Study of Machine Learning Models for Template Identification [0.0]
ミームテンプレート(meme template)は、ミームを作成するのに使用されるレイアウトまたはフォーマットである。
ミームのバイラル性に関する広範な研究にもかかわらず、ミームのテンプレートを自動的に識別する作業は依然として課題である。
本稿では,既存のmemeテンプレート識別手法の総合的な比較と評価を行う。
論文 参考訳（メタデータ） (2024-08-15T12:52:06Z) - XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。
我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。
textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85、マルチイメージのミームが66.32、それぞれ最高のベースラインが6.75%と8.56%を上回っている。
論文 参考訳（メタデータ） (2024-07-24T10:51:46Z) - Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes
Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。
ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文 参考訳（メタデータ） (2024-01-18T11:24:30Z) - Social Meme-ing: Measuring Linguistic Variation in Memes [24.226580919186613]
我々は,ミームの個々のインスタンスをテンプレートやセマンティック変数にクラスタリングする計算パイプラインを構築した。
それらのセマンティック関数によってクラスタ化された3.8MイメージのtextscSemanticMemesデータセットを利用可能にしています。
我々はこれらのクラスターを用いて、ミームの言語的変化を分析し、サブレディット間でのミーム使用の社会的意義のある変動が存在することを発見するだけでなく、これらのコミュニティにおけるミームの革新と文化のパターンが、以前の文章言語での発見と一致していることを発見した。
論文 参考訳（メタデータ） (2023-11-15T17:20:20Z) - A Template Is All You Meme [76.03172165923058]
5,200以上のmemeテンプレート、それらに関する情報、および54,000のテンプレートインスタンスの例で構成された知識ベースを作成します。
ミームテンプレートのセマンティック信号を調べるために,データセット中のミームと知識ベースに含まれるベーステンプレートを距離ベースで検索することでマッチングできることを示す。
メメテンプレートの検証により,検討対象のデータセット毎の最先端性能が得られ,テンプレート性に基づく解析方法が確立された。
論文 参考訳（メタデータ） (2023-11-11T19:38:14Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z) - Memes in the Wild: Assessing the Generalizability of the Hateful Memes
Challenge Dataset [47.65948529524281]
Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。
1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
論文 参考訳（メタデータ） (2021-07-09T09:04:05Z) - Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。
本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
論文 参考訳（メタデータ） (2020-11-25T16:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。