論文の概要: Small Cues, Big Consequences: Learning Pivotal Cues for Multimodal Meme Classification

• arxiv url: http://arxiv.org/abs/2609.26907v1
• Date: Tue, 22 Sep 2026 18:04:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.719507
• Title: Small Cues, Big Consequences: Learning Pivotal Cues for Multimodal Meme Classification
• Title（参考訳）: 小さなキュー, 大きな列: マルチモーダルなミーム分類のためのPivotal Cuesの学習
• Abstract要約: MemeCFは、ミームの害、憎悪、皮肉にまたがる9,895のミームのキュー中心のベンチマークである。 また,ミーム分類のためのローカル・グローバルアーキテクチャであるMemePIVOTを提案する。
• 参考スコア（独自算出の注目度）: 3.9394485033438413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memes often derive their harmful, hateful, or sarcastic meaning from small but decisive visual, textual, or cross-modal cues. Existing multimodal classifiers can miss such evidence when relying mainly on global image-text representations. We introduce MemeCF, a cue-focused benchmark of 9,895 memes across harm, hate, and sarcasm, with annotations identifying the modality and rationale of the pivotal evidence. We also propose MemePIVOT, a local-global architecture for meme classification. MemePIVOT uses frozen CLIP features, unbalanced optimal transport to align words with image patches while allowing irrelevant evidence to remain unmatched, and an evidential fusion head to combine local grounding with global meme context under uncertainty. Experiments on HarMeme, PrideMM, and MemeCF show consistent gains over strong text-only, image-only, multimodal, and vision-language baselines. Cross-dataset and ablation results further show that explicit pivotal-evidence modeling improves robustness and contributes meaningfully beyond global multimodal representations. Our code and dataset are publicly available at https://github.com/AkshitSharma1/MemePIVOT
• Abstract（参考訳）: ミームはしばしば、その有害な、憎しみのある、または皮肉な意味を、小さなが決定的な視覚的、テキスト的、あるいはクロスモーダル的な手がかりから導き出す。 既存のマルチモーダル分類器は、主にグローバルな画像テキスト表現に依存する場合、そのような証拠を見逃す可能性がある。 我々は、害、憎悪、皮肉にまたがる9,895のミームのキュー中心のベンチマークであるMemeCFを紹介し、重要な証拠のモダリティと合理性を特定するアノテーションについて紹介する。 また,ミーム分類のためのローカル・グローバルアーキテクチャであるMemePIVOTを提案する。 MemePIVOTは、凍結したCLIP機能、不均衡な最適なトランスポートを使用して、単語と画像パッチの整合性を保ちながら、無関係な証拠を未一致で保持し、明快な融合ヘッドを使用して、局所的な接地とグローバルなミームコンテキストを不確実性の下で組み合わせる。 HarMeme、PrideMM、MemeCFの実験では、強いテキストのみ、画像のみ、マルチモーダル、ビジョン言語ベースラインよりも一貫して向上している。 クロスデータセットとアブレーションの結果は、明示的なピボット・エビデンス・モデリングがロバスト性を改善し、グローバルなマルチモーダル表現を超えて有意義に貢献することを示す。 私たちのコードとデータセットはhttps://github.com/AkshitSharma1/MemePIVOTで公開されています。

関連論文リスト

• MemeLens: Multilingual Multitask VLMs for Memes [45.8232386994625]
  ミーム理解のための多言語・説明強調視覚言語モデル(VLM)を提案する。 私たちは、38の公開ミームデータセット、データセット固有のラベルを、害、ターゲット、具体的/実用的意図、影響にまたがる20ドルのタスクの共有分類に集約します。 この結果から,ロバストなミーム理解には多モーダルな訓練が必要であり,セマンティックなカテゴリ間でかなりの差異があり,モデルが統一された環境で訓練されるのではなく,個々のデータセットに微調整された場合,過度な特殊化に敏感であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-18T19:01:03Z)
• Detecting Harmful Memes with Decoupled Understanding and Guided CoT Reasoning [26.546646866501735]
  有害ミーム検出のための新しいフレームワークであるU-CoT+を紹介する。 まず,視覚的ミームを詳細なテキスト記述に変換する高忠実度ミーム・トゥ・テキストパイプラインを開発する。 この設計は、ミームの解釈をミーム分類から切り離し、複雑な生の視覚的内容に対する即時推論を避ける。
  論文  参考訳（メタデータ） (2025-06-10T06:10:45Z)
• MemeReaCon: Probing Contextual Meme Understanding in Large Vision-Language Models [50.2355423914562]
  我々は,LVLM(Large Vision Language Models)がミームを本来の文脈でどのように理解するかを評価するために設計された,新しいベンチマークであるMemeReaConを紹介する。 私たちは5つのRedditコミュニティからミームを収集し、各ミームの画像、ポストテキスト、ユーザーコメントを一緒に保持しました。 モデルは文脈において重要な情報を解釈できないか、あるいはコミュニケーション目的を見越しながら視覚的詳細に過度に焦点を合わせるかのどちらかです。
  論文  参考訳（メタデータ） (2025-05-23T03:27:23Z)
• MemeBLIP2: A novel lightweight multimodal system to detect harmful memes [10.174106475035689]
  画像とテキストの特徴を効果的に組み合わせることで有害なミームを検出する軽量マルチモーダルシステムであるMemeBLIP2を紹介する。 我々は、画像とテキストの表現を共有空間に整列させるモジュールを追加し、より良い分類のためにそれらを融合させることにより、以前の研究に基づいて構築した。 その結果,MemeBLIP2は,皮肉な内容や文化的な内容であっても,両モードとも微妙な手がかりを捉えることができることがわかった。
  論文  参考訳（メタデータ） (2025-04-29T23:41:06Z)
• TRACE: Textual Relevance Augmentation and Contextual Encoding for Multimodal Hate Detection [15.240092636523277]
  ソーシャルメディアのミームは、文化的にニュアンスのあるメッセージに視覚的およびテキスト的手がかりを織り込むため、ヘイト検出の難しい領域である。 これらの課題に対処するために,視覚的に基盤付けられたコンテキスト拡張を活用する階層型マルチモーダルフレームワークであるTRACEを導入する。 我々のフレームワークは、広く使われているHateful Memesデータセット上で、最先端の精度(0.807)とF1スコア(0.806)を達成する。
  論文  参考訳（メタデータ） (2025-04-24T19:27:55Z)
• XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
  社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。 我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。 textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85、マルチイメージのミームが66.32、それぞれ最高のベースラインが6.75%と8.56%を上回っている。
  論文  参考訳（メタデータ） (2024-07-24T10:51:46Z)
• Text or Image? What is More Important in Cross-Domain Generalization Capabilities of Hate Meme Detection Models? [2.4899077941924967]
  本稿では,マルチモーダルヘイトミーム検出におけるクロスドメイン一般化の難題について述べる。 ヘイトフルミームのテキスト成分のみによって、既存のマルチモーダル分類器が異なる領域にわたって一般化できるという仮説を支持する十分な証拠を提供する。 新たに作成された共同創設者データセットに対する我々の評価は、画像共同創設者の0.18ドルの平均$Delta$F1と比較すると、テキスト共同創設者のより高いパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-07T15:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。