論文の概要: MemeBench: What LVLMs Miss When Interpreting Culture-Dependent Memes
- arxiv url: http://arxiv.org/abs/2607.27798v1
- Date: Thu, 30 Jul 2026 07:36:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.444589
- Title: MemeBench: What LVLMs Miss When Interpreting Culture-Dependent Memes
- Title（参考訳）: MemeBench: 文化依存のミームを解釈する上でLVLMに欠けていること
- Abstract要約: 1,253の中国語と英語のミームの診断ベンチマークであるMemeBenchを紹介した。
すべてのモデルは、その解釈に必要な知識よりも確実に可視コンテンツをカバーし、最強のものは22.6%のVisual-Knowledgeギャップを保っている。
この診断が改善を導くかどうかを検証するため、CultureBase上に構築されたエンティティ誘導検索ベースラインであるKARを導入する。
- 参考スコア（独自算出の注目度）: 26.787531688873784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large vision-language models have improved at describing visual content, but accurate descriptions do not ensure interpretation when meaning depends on knowledge beyond the pixels. Memes expose this gap because they rely on cultural entities, background knowledge, and community conventions. Most meme benchmarks reduce interpretation to labels or holistic scores, obscuring where an explanation breaks down. We introduce MemeBench, a diagnostic benchmark of 1,253 Chinese and English memes with human-written references and quality-controlled VIKR annotations, centered on anime, comics, games, and adjacent online subcultures. Its VIKR schema decomposes explanations into Visual clues, Identity links, Knowledge units, and Reasoning mechanisms. Across 26 LVLMs, every model covers visible content more reliably than the knowledge needed to interpret it, and even the strongest retains a 22.6% Visual-Knowledge gap. To test whether this diagnosis can guide improvement, we introduce KAR, an entity-guided retrieval baseline built on CultureBase. Across four controlled models, KAR raises VIKR Success by 3.6-7.4% and, compared with generic retrieval, repairs more answers and breaks fewer. Yet both retrieval conditions improve Identity and Knowledge while reducing Visual coverage in every comparison. MemeBench reveals whether an interpretation succeeds, what is missing, and whether targeted evidence fills the diagnosed gap.
- Abstract（参考訳）: 大きな視覚言語モデルでは、視覚的内容の記述が改善されているが、正確な記述は、意味がピクセルを超えて知識に依存する場合、解釈を確実にするものではない。
ミームは、文化的実体、背景知識、コミュニティの慣習に依存しているため、このギャップを露呈する。
ほとんどのミームベンチマークは、説明が壊れた場所を隠して、ラベルや総合的なスコアへの解釈を減らします。
アニメ,漫画,ゲーム,隣接するオンラインサブカルチャーを中心に,人手による参照と品質制御型VIKRアノテーションを備えた1,253の中国語および英語ミームの診断ベンチマークであるMemeBenchを紹介した。
VIKRスキーマは、視覚的な手がかり、アイデンティティリンク、知識ユニット、推論メカニズムに説明を分解する。
26個のLVLMで、全てのモデルは解釈に必要な知識よりも確実に可視コンテンツをカバーし、最強のものは22.6%のビジュアル知識ギャップを保っている。
この診断が改善を導くかどうかを検証するため、CultureBase上に構築されたエンティティ誘導検索ベースラインであるKARを導入する。
4つの制御されたモデル全体で、KARはVIKR成功率を3.6-7.4%引き上げ、一般的な検索と比較して、より多くの回答を修復し、より少なくする。
しかし、両方の検索条件は、すべての比較において視覚的カバレッジを減らしながら、アイデンティティと知識を改善します。
MemeBenchは、解釈が成功するかどうか、何が欠落しているか、そして標的となる証拠が診断されたギャップを埋めるかどうかを明らかにしている。
関連論文リスト
- NormViz: A Benchmark and Framework for Grounding Multimodal Reasoning in Global Cultures [58.53196987370368]
16か国にまたがる3,268枚のコントラスト画像ペアのベンチマークを導入する。
それぞれのペアは、それぞれのイメージの解釈方法を変える文化的な振る舞いにのみ変化する。
説明と組み合わせた64k画像のトレーニングデータセットであるNormViz-Trainを紹介する。
論文 参考訳（メタデータ） (2026-09-06T21:02:47Z) - MemeCULT-1K: Benchmarking South Asian Cultural Context and Humor Understanding of Multimodal Models [7.9152408875072275]
我々はベンガル語、英語、ヒンディー語で1000の南アジアミームのベンチマークであるMemeCULT-1Kを紹介する。
我々は、ミームオンリーとコンテキストアウェアの2つの設定で、13の人気のあるビジョン言語モデル(VLM)を評価した。
きめ細かい誤差解析により、クローズドソースモデルは、主にエンティティと参照の誤識別に失敗し、一方、オープンソースモデルは、より広い文化的知識ギャップによってボトルネックになっていることが明らかになった。
論文 参考訳（メタデータ） (2026-09-01T18:43:03Z) - Distinguishing Right from Wrong in Debates: Attribution Analysis of Chinese Harmful Memes [33.60719903789302]
我々は,中国初の有害ミーム説明データセットであるEx-ToxiCN-MMを構築することにより,中国の有害ミームの解釈可能な検出に焦点を当てた。
このデータセットは、各ミームに対して「有害」と「非有害」に分類される反対の解釈を提供する。
我々は、Attribution Knowledge Enhancement Module (AKE)とRelative Intent Reasoning Module (RIR)を含む総合的な属性分析フレームワークRIKEを開発した。
論文 参考訳（メタデータ） (2026-05-23T02:06:34Z) - I Came, I Saw, I Explained: Benchmarking Multimodal LLMs on Figurative Meaning in Memes [53.717874073948984]
本研究では,6種類の図形的意味を検出・説明する能力に基づいて,8種類の最先端生成型大言語モデル (MLLM) の評価を行った。
以上の結果から,すべてのモデルにおいて,そのような意味が存在しない場合でも,ミームと図形的意味を関連づけるバイアスが強いことが示唆された。
論文 参考訳（メタデータ） (2026-03-24T14:02:48Z) - KID: Knowledge-Injected Dual-Head Learning for Knowledge-Grounded Harmful Meme Detection [6.006318485752551]
本稿では,知識ベースで有害なミーム検出を行うための知識注入型デュアルヘッド学習フレームワークを提案する。
KIDはラベルに制約のある蒸留パラダイムを採用し、複雑なミーム理解を構造化推論連鎖に分解し、視覚的証拠、背景知識、分類ラベルを明示的に結びつける。
論文 参考訳（メタデータ） (2026-01-29T14:41:36Z) - AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking [59.15472057710525]
AVMeme Examは、音声、歌、音楽、サウンドエフェクトにまたがる、1000以上の象徴的なインターネットの音とビデオの人間による評価ベンチマークである。
各ミームは、表面コンテンツからコンテキスト、感情、使用法、世界知識への理解レベルを評価するユニークなQ&Aと組み合わせられる。
このベンチマークを用いて,最先端のマルチモーダル言語モデル (MLLM) を人間の参加者とともに体系的に評価した。
論文 参考訳（メタデータ） (2026-01-25T01:40:15Z) - CURVE: A Benchmark for Cultural and Multilingual Long Video Reasoning [58.73855961335903]
CURVE(Cultural Understanding and Reasoning in Video Evaluation)は、多言語・多言語ビデオ推論のための挑戦的なベンチマークである。
18のグローバルローカライズされた、地域固有の文化的ビデオから、高品質で完全な人為的なアノテーションを含んでいる。
以上の結果から, SoTA Video-LLM は人間レベルの精度よりもかなり低い精度で動作していることが明らかとなった。
論文 参考訳（メタデータ） (2026-01-15T18:15:06Z) - MemeReaCon: Probing Contextual Meme Understanding in Large Vision-Language Models [50.2355423914562]
我々は,LVLM(Large Vision Language Models)がミームを本来の文脈でどのように理解するかを評価するために設計された,新しいベンチマークであるMemeReaConを紹介する。
私たちは5つのRedditコミュニティからミームを収集し、各ミームの画像、ポストテキスト、ユーザーコメントを一緒に保持しました。
モデルは文脈において重要な情報を解釈できないか、あるいはコミュニケーション目的を見越しながら視覚的詳細に過度に焦点を合わせるかのどちらかです。
論文 参考訳（メタデータ） (2025-05-23T03:27:23Z) - RAVENEA: A Benchmark for Multimodal Retrieval-Augmented Visual Culture Understanding [79.44246283490665]
本稿では,検索による視覚文化理解の促進を目的とした新しいベンチマークであるRAVENEAを紹介する。
RAVENEAは、文化中心の視覚的質問応答(cVQA)と文化インフォームドイメージキャプション(cIC)の2つのタスクに焦点を当てている。
画像クエリ毎に7つのマルチモーダルレトリバーを訓練・評価し、14の最先端の視覚言語モデルにおける検索強化入力の下流への影響を計測する。
論文 参考訳（メタデータ） (2025-05-20T14:57:16Z) - Figurative-cum-Commonsense Knowledge Infusion for Multimodal Mental Health Meme Classification [12.953830867972885]
我々は,ミームを6つのきめ細かい不安症状に分類する新しいデータセットAxiOMを紹介した。
次に、図形言語と常識知識を解釈する能力を高めるために、コモンセンスとドメイン富化フレームワークM3Hを提案する。
総合的な目標は、まず最初に理解し、それからミームで表されるメンタルヘルスの症状を分類することである。
論文 参考訳（メタデータ） (2025-01-25T20:36:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。