論文の概要: Adapting Reinforcement Learning with Chain-of-Thought Supervision for Explainable Detection of Hateful and Propagandistic Memes

• arxiv url: http://arxiv.org/abs/2606.15307v1
• Date: Sat, 13 Jun 2026 13:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.26751
• Title: Adapting Reinforcement Learning with Chain-of-Thought Supervision for Explainable Detection of Hateful and Propagandistic Memes
• Title（参考訳）: チェーン・オブ・ソート・スーパービジョンによる強化学習の適応によるハテフル・プロパガンダ的ミームの検出
• Authors: Mohamed Bayan Kmainasi, Mucahid Kutlu, Ali Ezzat Shahroor, Abul Hasnat, Firoj Alam,
• Abstract要約: 憎悪的でプロパガンダ的なミームは、画像とテキストの間の相互作用を利用して有害な意図を伝える。 分類性能と参照に基づく説明品質を向上させる強化学習に基づくポストトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 7.77199523320035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hateful and propagandistic memes exploit the interplay between images and text to convey harmful intent that neither modality reveals alone. Although thinking-based multimodal large language models (MLLMs) have advanced vision-language understanding, their application to meme content moderation remains underexplored. We propose a reinforcement learning-based post-training method that improves classification performance and reference-based explanation quality in thinking-based MLLMs via task-specific rewards and Group Relative Policy Optimization (GRPO). Concretely, we (i) conduct a systematic empirical study of off-the-shelf MLLMs for hateful and propagandistic meme understanding across English and Arabic benchmarks, (ii) extend existing meme datasets with weakly supervised chain-of-thought (CoT) rationales via distillation and multi-LLM fine-grained propaganda annotations, (iii) introduce a GRPO-based objective with thinking-length regularization that jointly optimizes classification accuracy and explanation quality, and (iv) investigate self-supervised GRPO on unlabeled memes using consensus-based pseudo-labels. Experiments on the Hateful Memes and ArMeme benchmarks show that our approach improves over previously reported results on FHM accuracy (up to +2.1%, from 79.9% to 82.0%) and on ArMeme macro-F1 (up to +7.6 points, from 0.536 to 0.612 with explanations; +6.1 compared to the original ArMeme benchmark), while also generating natural-language explanations. On ArMeme, sequence-classification baselines remain stronger in terms of raw accuracy, whereas our approach provides more balanced per-class performance along with explanations. We publicly release our code, data extensions, and evaluation resources.
• Abstract（参考訳）: 憎悪的でプロパガンダ的なミームは、画像とテキストの間の相互作用を利用して、モダリティが単独で明らかにしない有害な意図を伝える。 思考に基づくマルチモーダル大言語モデル(MLLM)は、先進的な視覚言語理解を持つが、そのミームコンテンツモデレーションへの応用は未定である。 本稿では,タスク固有の報酬とグループ相対政策最適化(GRPO)を用いて,思考型MLLMの分類性能と参照型説明品質を向上させる強化学習に基づくポストトレーニング手法を提案する。 具体的には 一 英語及びアラビア語のベンチマークにおいて、憎悪的でプロパガンダ的なミームを理解するために、既成のMLLMを体系的に研究する。 (II)蒸留およびマルチLLM微粒プロパガンダアノテーションにより、弱教師付きチェーン・オブ・シント(CoT)合理性を持つ既存のミームデータセットを拡張する。 三 分類精度及び説明品質を協調的に最適化する思考長正規化によるGRPOに基づく目標の導入。 (4)コンセンサスに基づく擬似ラベルを用いたラベルなしミームにおける自己教師型GRPOの検討。 Hateful Memes と ArMeme ベンチマークの実験では、FHM の精度 (79.9% から 82.0% まで) と ArMeme マクロ F1 (0.536 から 0.612 まで) について、従来の ArMeme ベンチマークと比較して改善した。 ArMemeでは、シーケンス分類のベースラインが生の精度で強く保たれていますが、我々のアプローチは、説明とともにクラス毎のパフォーマンスをよりバランスよく提供します。 コード、データ拡張、評価リソースを公開しています。

関連論文リスト

• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Can Thinking Models Think to Detect Hateful Memes? [7.77199523320035]
  思考に基づくマルチモーダル大言語モデル(MLLM)は近年、視覚言語による理解が進んでいる。 思考に基づくMLLMにおける推論を改善する強化学習に基づくポストトレーニングフレームワークを提案する。 提案手法は,最先端性能を実現し,精度とF1を約1%,説明品質を約3%向上させる。
  論文  参考訳（メタデータ） (2026-03-01T18:41:52Z)
• Retrieval Augmented Enhanced Dual Co-Attention Framework for Target Aware Multimodal Bengali Hateful Meme Detection [1.1172382217477128]
  ソーシャルメディア上の憎しみのあるコンテンツは、有害な物語を伝えるために画像とテキストを組み合わせたマルチモーダルなミームとしてますます現れている。 これらの問題に対処するため、ベンガルのMultimodal Aggressionデータセット(MIMOSA)から意味的に整合したサンプルを用いて、Bengali Hateful Memesデータセットを拡張した。 本稿では,視覚エンコーダ (CLIP, DINOv2) と多言語テキストエンコーダ (XGLM, XLM-R) を重み付きアテンションプールにより統合し,ロバストなクロスモーダル表現を学習する拡張デュアルコアテンションフレームワーク (xDORA) を提案する。
  論文  参考訳（メタデータ） (2026-02-22T14:48:25Z)
• CREM: Compression-Driven Representation Enhancement for Multimodal Retrieval and Comprehension [49.6969505536365]
  生成能力を保ちつつ、検索のためのマルチモーダル表現を強化する統一的なフレームワークであるCREMを提案する。 CREMはMMEB上での最先端検索性能を達成し,複数の理解ベンチマーク上での強力な生成性能を維持する。
  論文  参考訳（メタデータ） (2026-02-22T08:09:51Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• MemeIntel: Explainable Detection of Propagandistic and Hateful Memes [7.312435036698118]
  本稿では,アラビア語およびヘイトフルミームにおけるプロパガンダ的ミームに対する説明強化データセットであるMemeXplainを紹介する。 マルチステージ最適化手法を提案し,VLM(Vision-Language Models)を訓練する。 以上の結果から,この手法はベースモデルよりもラベル検出と説明生成品質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-02-23T15:35:48Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)
• MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing [53.30190591805432]
  構造化された質問に対する正確な応答を求めるマルチモーダルな質問応答フレームワークであるMemeMQAを紹介する。 また,MemeMQAに対処する新しい2段階マルチモーダルフレームワークであるARSENALを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:44:41Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。