論文の概要: Robust Adaptation of Large Multimodal Models for Retrieval Augmented Hateful Meme Detection

• arxiv url: http://arxiv.org/abs/2502.13061v2
• Date: Mon, 19 May 2025 22:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:51.808352
• Title: Robust Adaptation of Large Multimodal Models for Retrieval Augmented Hateful Meme Detection
• Title（参考訳）: 検索用Hateful Meme検出のための大規模マルチモーダルモデルのロバスト適応
• Authors: Jingbiao Mei, Jinghong Chen, Guangyu Yang, Weizhe Lin, Bill Byrne,
• Abstract要約: ヘイトフルミーム検出のためのロバスト適応フレームワークを提案する。 提案手法は最先端の性能を達成し,より大きなエージェントシステムより優れる。
• 参考スコア（独自算出の注目度）: 14.389486267051327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hateful memes have become a significant concern on the Internet, necessitating robust automated detection systems. While LMMs have shown promise in hateful meme detection, they face notable challenges like sub-optimal performance and limited out-of-domain generalization capabilities. Recent studies further reveal the limitations of both SFT and in-context learning when applied to LMMs in this setting. To address these issues, we propose a robust adaptation framework for hateful meme detection that enhances in-domain accuracy and cross-domain generalization while preserving the general vision-language capabilities of LMMs. Experiments on six meme classification datasets show that our approach achieves state-of-the-art performance, outperforming larger agentic systems. Moreover, our method generates higher-quality rationales for explaining hateful content compared to standard SFT, enhancing model interpretability.
• Abstract（参考訳）: 有害ミームはインターネットにおいて重要な関心事となり、堅牢な自動検知システムを必要としている。 LMMはヘイトフルミーム検出において有望であるが、準最適性能やドメイン外一般化能力の制限といった顕著な課題に直面している。 近年の研究では、LMMに適用した場合のSFTと文脈内学習の限界をさらに明らかにしている。 これらの問題に対処するために,LMMの一般的な視覚言語機能を維持しつつ,ドメイン内精度とドメイン間一般化を向上する,ヘイトフルミーム検出のためのロバスト適応フレームワークを提案する。 6つのミーム分類データセットの実験により、我々の手法は最先端の性能を達成し、より大きなエージェントシステムより優れることを示した。 さらに,本手法は,標準のSFTと比較して,ヘイトフルコンテンツを説明するための高品質な論理式を生成し,モデル解釈可能性を向上させる。

関連論文リスト

• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)
• MAA: Meticulous Adversarial Attack against Vision-Language Pre-trained Models [30.04163729936878]
  Meticulous Adrial Attack (MAA) は、個々のサンプルのモデルに依存しない特性と脆弱性を完全に活用する。 MAAは、新しいリサイズ・スライディング作物(RScrop)技術を開発することにより、敵画像のきめ細かい最適化を強調している。
  論文  参考訳（メタデータ） (2025-02-12T02:53:27Z)
• SOWA: Adapting Hierarchical Frozen Window Self-Attention to Visual-Language Models for Better Anomaly Detection [0.6906005491572401]
  CLIPモデルに基づく新しいウィンドウ自己認識機構を導入し、学習可能なプロンプトを付加してマルチレベル機能を処理する。 提案手法は5つのベンチマークデータセットで厳格に評価され,20項目中18項目をリードすることで,優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-07-04T04:54:03Z)
• GM-DF: Generalized Multi-Scenario Deepfake Detection [49.072106087564144]
  既存の偽造検出は、通常、単一のドメインでのトレーニングモデルのパラダイムに従う。 本稿では,複数の顔偽造検出データセットを共同で訓練した場合のディープフェイク検出モデルの一般化能力について詳しく検討する。
  論文  参考訳（メタデータ） (2024-06-28T17:42:08Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• On the Limitations of Multimodal VAEs [9.449650062296824]
  マルチモーダル変分オートエンコーダ(VAE)は、弱い教師付きデータに対する効率的な生成モデルとして期待されている。 弱い監督の利点にもかかわらず、単調なVAEと比較すると、遺伝子品質の差が見られる。
  論文  参考訳（メタデータ） (2021-10-08T13:28:28Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Unsupervised multi-modal Styled Content Generation [61.040392094140245]
  UMMGANは、教師なし方式でマルチモーダル分布をモデル化するために設計された新しいアーキテクチャである。 UMMGANはモードとスタイルを効果的に切り離し、生成したコンテンツに対して独立した制御を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-01-10T19:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。