論文の概要: Improved Fine-Tuning of Large Multimodal Models for Hateful Meme Detection

• arxiv url: http://arxiv.org/abs/2502.13061v1
• Date: Tue, 18 Feb 2025 17:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 20:12:09.10134
• Title: Improved Fine-Tuning of Large Multimodal Models for Hateful Meme Detection
• Title（参考訳）: ヘイトフルミーム検出のための大規模マルチモーダルモデルの微調整の改善
• Authors: Jingbiao Mei, Jinghong Chen, Guangyu Yang, Weizhe Lin, Bill Byrne,
• Abstract要約: 有害ミームはインターネットにおいて重要な関心事となり、堅牢な自動検知システムを必要としている。 大規模マルチモーダルモデルは様々なタスクにまたがって強力な一般化を示してきたが、ミームの動的性質によるミーム検出への一般化は乏しい。 本稿では,LMM-RGCL(Large Multimodal Model Retrieval-Guided Contrastive Learning)を提案する。
• 参考スコア（独自算出の注目度）: 14.389486267051327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hateful memes have become a significant concern on the Internet, necessitating robust automated detection systems. While large multimodal models have shown strong generalization across various tasks, they exhibit poor generalization to hateful meme detection due to the dynamic nature of memes tied to emerging social trends and breaking news. Recent work further highlights the limitations of conventional supervised fine-tuning for large multimodal models in this context. To address these challenges, we propose Large Multimodal Model Retrieval-Guided Contrastive Learning (LMM-RGCL), a novel two-stage fine-tuning framework designed to improve both in-domain accuracy and cross-domain generalization. Experimental results on six widely used meme classification datasets demonstrate that LMM-RGCL achieves state-of-the-art performance, outperforming agent-based systems such as VPD-PALI-X-55B. Furthermore, our method effectively generalizes to out-of-domain memes under low-resource settings, surpassing models like GPT-4o.
• Abstract（参考訳）: 有害ミームはインターネットにおいて重要な関心事となり、堅牢な自動検知システムを必要としている。 大規模マルチモーダルモデルは様々なタスクにまたがって強力な一般化を示してきたが、新興の社会トレンドやニュースに結びついているミームのダイナミックな性質から、憎しみのあるミーム検出への一般化は乏しい。 最近の研究は、この文脈における大規模マルチモーダルモデルに対する従来の教師付き微調整の限界をさらに強調している。 これらの課題に対処するために、ドメイン内精度とクロスドメイン一般化の両方を改善するために設計された2段階のファインチューニングフレームワークであるLMM-RGCLを提案する。 6つの広く使われているミーム分類データセットによる実験結果から、LMM-RGCLはVPD-PALI-X-55Bのようなエージェントベースシステムよりも優れた、最先端のパフォーマンスを達成することが示された。 さらに,本手法は,低リソース環境下での領域外ミームに効果的に一般化し,GPT-4o などのモデルを上回る。

関連論文リスト

• EMIT: Enhancing MLLMs for Industrial Anomaly Detection via Difficulty-Aware GRPO [39.94790536636158]
  産業的異常検出(IAD)のための大規模言語モデル(MLLM)を強化する統合フレームワークであるEMMを提案する。 EMITはマルチタスクIADデータセットを構築し、GPT生成したオブジェクトテキスト記述を利用して欠陥画像の補正を行う。 数発の異常検出のために、パッチレベルの比較から導かれるソフトプロンプトとヒートマップ誘導のコントラスト埋め込みを統合している。 MMADベンチマークの実験では、EMMはMLLMのIAD性能を大幅に向上し、ベースモデルよりも平均7.77%向上した。
  論文  参考訳（メタデータ） (2025-07-29T09:18:22Z)
• Modality-Balancing Preference Optimization of Large Multimodal Models by Adversarial Negative Mining [66.54211199959298]
  LMMにおけるモダリティの不均衡に対処するため、新しい選好学習フレームワークMBPOを提案する。 MBPOは、強い負の反応、すなわちLLMバイアスによって誤った反応を生成することによって、より効果的なオフライン嗜好データセットを構築する。 視覚言語課題におけるLMM性能を高め、幻覚を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2025-05-20T03:59:05Z)
• AnomalyR1: A GRPO-based End-to-end MLLM for Industrial Anomaly Detection [40.34270276536052]
  産業異常検出(IAD)は、欠陥サンプルの不足により深刻な課題となる。 従来のアプローチは、手作りの機能やドメイン固有のエキスパートモデルによって制約されることが多いが、この制限に対処するのに苦労している。 本稿では,マルチモーダル大規模言語モデル(MLLM)であるVLM-R1を活用する先駆的フレームワークであるAnomalyR1を紹介する。
  論文  参考訳（メタデータ） (2025-04-16T09:48:41Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)
• ExtremeAIGC: Benchmarking LMM Vulnerability to AI-Generated Extremist Content [3.6802208575951925]
  我々は,AI生成した極端コンテンツに対するモデル脆弱性を評価するために設計されたベンチマークデータセットと評価フレームワークExtremeAIGCを紹介する。 ExtremeAIGCは、最先端の画像生成技術を用いて、さまざまなテキストおよび画像ベースのサンプルをキュレートすることで、現実世界のイベントと悪意のあるユースケースをシミュレートする。 我々の研究は、LMMの深刻な弱点を明らかにし、最先端の安全対策でさえ過激派物質の発生を防げないことを示した。
  論文  参考訳（メタデータ） (2025-03-13T02:10:29Z)
• RAAD-LLM: Adaptive Anomaly Detection Using LLMs and RAG Integration [2.879328762187361]
  本稿では,適応型異常検出のための新しいフレームワークであるRAAD-LLMを提案する。 ドメイン固有の知識を効果的に活用することにより、RAAD-LLMは時系列データにおける異常の検出を強化する。 実際のデータセットでは,70.7%から88.6%に精度が向上した。
  論文  参考訳（メタデータ） (2025-03-04T17:20:43Z)
• Demystifying Hateful Content: Leveraging Large Multimodal Models for Hateful Meme Detection with Explainable Decisions [4.649093665157263]
  本稿では,LMM(Large Multimodal Models)を利用した新しいフレームワークであるIntMemeを紹介する。 IntMemeは、ミームのモデレーションにおける正確性と説明可能性の両方を改善するという2つの課題に対処する。 提案手法はPT-VLMにおける不透明度と誤分類の問題に対処し,LMMを用いた憎しみのあるミーム検出を最適化する。
  論文  参考訳（メタデータ） (2025-02-16T10:45:40Z)
• MAA: Meticulous Adversarial Attack against Vision-Language Pre-trained Models [30.04163729936878]
  Meticulous Adrial Attack (MAA) は、個々のサンプルのモデルに依存しない特性と脆弱性を完全に活用する。 MAAは、新しいリサイズ・スライディング作物(RScrop)技術を開発することにより、敵画像のきめ細かい最適化を強調している。
  論文  参考訳（メタデータ） (2025-02-12T02:53:27Z)
• SILMM: Self-Improving Large Multimodal Models for Compositional Text-to-Image Generation [92.73405185996315]
  大規模マルチモーダルモデル(LMM)は、マルチモーダル理解と生成において印象的な能力を示した。 マルチステップ生成のためのレイアウト計画や、人間のフィードバックやAIフィードバックからの学習など、既存のアプローチは、迅速なエンジニアリングに大きく依存している。 モデルに依存しない反復型自己フィードバックフレームワーク(SILMM)を導入し,LMMが有用でスケーラブルな自己改善を実現し,テキスト画像のアライメントを最適化する。
  論文  参考訳（メタデータ） (2024-12-08T05:28:08Z)
• SOWA: Adapting Hierarchical Frozen Window Self-Attention to Visual-Language Models for Better Anomaly Detection [0.6906005491572401]
  CLIPモデルに基づく新しいウィンドウ自己認識機構を導入し、学習可能なプロンプトを付加してマルチレベル機能を処理する。 提案手法は5つのベンチマークデータセットで厳格に評価され,20項目中18項目をリードすることで,優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-07-04T04:54:03Z)
• GM-DF: Generalized Multi-Scenario Deepfake Detection [49.072106087564144]
  既存の偽造検出は、通常、単一のドメインでのトレーニングモデルのパラダイムに従う。 本稿では,複数の顔偽造検出データセットを共同で訓練した場合のディープフェイク検出モデルの一般化能力について詳しく検討する。
  論文  参考訳（メタデータ） (2024-06-28T17:42:08Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• On the Robustness of Large Multimodal Models Against Image Adversarial Attacks [81.2935966933355]
  大規模マルチモーダルモデル(LMM)に対する視覚的敵攻撃の影響について検討する。 一般的に,LMMは視覚的逆入力に対して頑健ではない。 本稿では,クエリ分解と呼ばれる実世界の画像分類への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-06T04:59:56Z)
• Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection [86.24898024621008]
  産業異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデルを提案する(略してMyriad)。 我々は,視覚専門家が生成する異常マップをLMMのガイダンスとして利用し,視覚モデルが異常領域により多くの注意を払うように誘導する。 提案手法は最先端の手法に対して良好に機能するだけでなく,IAD分野におけるLMMの柔軟性や命令追従性を継承する。
  論文  参考訳（メタデータ） (2023-10-29T16:49:45Z)
• CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain Performance and Calibration [59.48235003469116]
  データの増大はOOD性能を継続的に向上させることを示す。 また, CF拡張モデルのキャリブレーションが容易な場合, 重要度を割り当てる場合, エントロピーがはるかに低いことを示す。
  論文  参考訳（メタデータ） (2023-09-14T16:16:40Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• On the Limitations of Multimodal VAEs [9.449650062296824]
  マルチモーダル変分オートエンコーダ(VAE)は、弱い教師付きデータに対する効率的な生成モデルとして期待されている。 弱い監督の利点にもかかわらず、単調なVAEと比較すると、遺伝子品質の差が見られる。
  論文  参考訳（メタデータ） (2021-10-08T13:28:28Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Unsupervised multi-modal Styled Content Generation [61.040392094140245]
  UMMGANは、教師なし方式でマルチモーダル分布をモデル化するために設計された新しいアーキテクチャである。 UMMGANはモードとスタイルを効果的に切り離し、生成したコンテンツに対して独立した制御を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-01-10T19:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。