論文の概要: Can Thinking Models Think to Detect Hateful Memes?

• arxiv url: http://arxiv.org/abs/2603.01225v1
• Date: Sun, 01 Mar 2026 18:41:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.577244
• Title: Can Thinking Models Think to Detect Hateful Memes?
• Title（参考訳）: モデルは有害なミームを検知できるのか?
• Authors: Mohamed Bayan Kmainasi, Mucahid Kutlu, Ali Ezzat Shahroor, Abul Hasnat, Firoj Alam,
• Abstract要約: 思考に基づくマルチモーダル大言語モデル(MLLM)は近年、視覚言語による理解が進んでいる。 思考に基づくMLLMにおける推論を改善する強化学習に基づくポストトレーニングフレームワークを提案する。 提案手法は,最先端性能を実現し,精度とF1を約1%,説明品質を約3%向上させる。
• 参考スコア（独自算出の注目度）: 7.77199523320035
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hateful memes often require compositional multimodal reasoning: the image and text may appear benign in isolation, yet their interaction conveys harmful intent. Although thinking-based multimodal large language models (MLLMs) have recently advanced vision-language understanding, their capabilities remain underexplored for hateful meme analysis. We propose a reinforcement learning based post-training framework that improves reasoning in thinking-based MLLMs through task-specific rewards and a novel Group Relative Policy Optimization (GRPO) objective. Specifically, we (i) conduct a systematic empirical study of off-the-shelf MLLMs for hateful meme understanding, (ii) extend an existing hateful meme dataset by generating weakly or pseudo-supervised chain-of-thought rationales via distillation, and (iii) introduce a GRPO-based objective that jointly optimizes meme classification and explanation quality to encourage fine-grained, step-by-step reasoning. Experiments on the Hateful Memes benchmark show that our approach achieves state-of-the-art performance, improving accuracy and F1 by approximately 1 percent and explanation quality by approximately 3 percent. We will publicly release our code, dataset extensions, and evaluation resources to support reproducibility.
• Abstract（参考訳）: 憎しみのあるミームは、しばしば構成的な多モーダルな推論を必要とする:画像とテキストは孤立して良さそうに見えるが、それらの相互作用は有害な意図を伝達する。 思考に基づくマルチモーダル大言語モデル(MLLM)は近年、視覚言語による理解が進んでいるが、その能力は憎しみを込めたミーム分析に過小評価されている。 本稿では,タスク固有の報酬を通じて思考に基づくMLLMの推論を改善する強化学習に基づくポストトレーニングフレームワークと,新しいグループ相対政策最適化(GRPO)の目標を提案する。 具体的には 一 嫌悪なミーム理解のため、既成のMLLMの体系的研究。 二 蒸留により、弱々しく又は擬似的に指示された合理性を生成することにより、既存の憎しみのあるミームデータセットを拡張し、 三 GRPOをベースとした目的は、詳細なステップバイステップ推論を促進するために、ミーム分類と説明品質を協調的に最適化することである。 Hateful Memesベンチマークの実験では、我々の手法は最先端のパフォーマンスを達成し、精度とF1を約1%改善し、説明品質を約3%向上させた。 再現性をサポートするために、コード、データセット拡張、評価リソースを公開します。

関連論文リスト

• ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
  Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。 本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。 CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-02T04:52:54Z)
• Monet: Reasoning in Latent Visual Space Beyond Images and Language [55.424507246294326]
  視覚的推論を推し進める上で有効なパラダイムとして「画像で考える」が登場している。 既存の方法は、人間のような抽象的な視覚的思考に欠ける。 Monetは、マルチモーダルな大規模言語モデルを潜在視覚空間内で直接推論できるトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-26T13:46:39Z)
• Rethinking the Text-Vision Reasoning Imbalance in MLLMs through the Lens of Training Recipes [54.374410871041164]
  MLLM(Multimodal large language model)は、視覚・言語タスクにおいて強力な機能を示す。 近年の研究では、視覚的・テキスト的モダリティ間の推論能力の不均衡が指摘されている。 我々は、この現象を、テキスト中心と視覚中心の入力のパフォーマンス格差として定義される、テクティモダリティギャップと呼ぶ。
  論文  参考訳（メタデータ） (2025-10-26T21:06:13Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• MemeIntel: Explainable Detection of Propagandistic and Hateful Memes [7.312435036698118]
  本稿では,アラビア語およびヘイトフルミームにおけるプロパガンダ的ミームに対する説明強化データセットであるMemeXplainを紹介する。 マルチステージ最適化手法を提案し,VLM(Vision-Language Models)を訓練する。 以上の結果から,この手法はベースモデルよりもラベル検出と説明生成品質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-02-23T15:35:48Z)
• Demystifying Hateful Content: Leveraging Large Multimodal Models for Hateful Meme Detection with Explainable Decisions [4.649093665157263]
  本稿では,LMM(Large Multimodal Models)を利用した新しいフレームワークであるIntMemeを紹介する。 IntMemeは、ミームのモデレーションにおける正確性と説明可能性の両方を改善するという2つの課題に対処する。 提案手法はPT-VLMにおける不透明度と誤分類の問題に対処し,LMMを用いた憎しみのあるミーム検出を最適化する。
  論文  参考訳（メタデータ） (2025-02-16T10:45:40Z)
• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• Beneath the Surface: Unveiling Harmful Memes with Multimodal Reasoning Distilled from Large Language Models [17.617187709968242]
  既存の有害なミーム検出手法は、端から端までの分類方法において、表面的な害を示す信号のみを認識する。 本稿では,多モーダル融合を改善するために,大規模言語モデルから合理的な思考を学習するための新しい生成フレームワークを提案する。 提案手法は,有害ミーム検出タスクにおける最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-12-09T01:59:11Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• What do you MEME? Generating Explanations for Visual Semantic Role Labelling in Memes [42.357272117919464]
  ミームにおける視覚的意味的役割のラベル付けに関する説明を生成する新しいタスク-EXCLAIMを導入する。 この目的のために,3種類のエンティティに対する意味的役割の自然言語説明を提供する新しいデータセットであるExHVVをキュレートする。 また,EXCLAIMを最適に扱える新しいマルチモーダル・マルチタスク学習フレームワークであるLUMENを提案する。
  論文  参考訳（メタデータ） (2022-12-01T18:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。