Fugu-MT 論文翻訳(概要): Hateful Meme Detection through Context-Sensitive Prompting and Fine-Grained Labeling

論文の概要: Hateful Meme Detection through Context-Sensitive Prompting and Fine-Grained Labeling

arxiv url: http://arxiv.org/abs/2411.10480v1
Date: Wed, 13 Nov 2024 08:05:41 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-19 14:36:31.705768
Title: Hateful Meme Detection through Context-Sensitive Prompting and Fine-Grained Labeling
Title（参考訳）: 文脈感性プロンプティングとファイングラインドラベリングによるヘアフルミーム検出
Authors: Rongxin Ouyang, Kokil Jaidka, Subhayan Mukerjee, Guangyu Cui,
Abstract要約: 複雑なタスクにおけるモデル最適化のためのエンドツーエンドの概念フレームワークを提案する。実験は、この伝統的な新しいフレームワークの有効性をサポートし、高い精度とAUROCを達成する。
参考スコア（独自算出の注目度）: 9.166963162285064
License:
Abstract: The prevalence of multi-modal content on social media complicates automated moderation strategies. This calls for an enhancement in multi-modal classification and a deeper understanding of understated meanings in images and memes. Although previous efforts have aimed at improving model performance through fine-tuning, few have explored an end-to-end optimization pipeline that accounts for modalities, prompting, labeling, and fine-tuning. In this study, we propose an end-to-end conceptual framework for model optimization in complex tasks. Experiments support the efficacy of this traditional yet novel framework, achieving the highest accuracy and AUROC. Ablation experiments demonstrate that isolated optimizations are not ineffective on their own.
Abstract（参考訳）: ソーシャルメディア上でのマルチモーダルコンテンツの普及は、自動モデレーション戦略を複雑にしている。これは、マルチモーダル分類の強化と、画像やミームの下位の意味をより深く理解することを要求する。これまでの取り組みでは、微調整によるモデルパフォーマンス向上を目標としていたが、モダリティ、プロンプト、ラベリング、微調整を考慮に入れたエンドツーエンドの最適化パイプラインを探求する者はほとんどいなかった。本研究では,複雑なタスクにおけるモデル最適化のためのエンドツーエンドの概念フレームワークを提案する。実験は、この伝統的な新しいフレームワークの有効性をサポートし、高い精度とAUROCを達成する。アブレーション実験は、孤立最適化はそれ自体では効果がないことを示した。

関連論文リスト

M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning [90.75075886543404]
MLLM(Multimodal Large Language Models)は、幅広い領域にわたる顕著なパフォーマンスを示す。本研究では,MLLMの効率的な命令チューニングのための新しいMultimodal Prompt Tuning (M$2$PT) 手法を提案する。
論文参考訳（メタデータ） (2024-09-24T01:40:24Z)
Multimodal Classification via Modal-Aware Interactive Enhancement [6.621745547882088]
モーダル・アウェア・インタラクティブ・エンハンスメント(MIE)と呼ばれる新しいマルチモーダル学習手法を提案する。具体的には、まず、シャープネス認識最小化(SAM)に基づく最適化戦略を用いて、前フェーズにおける学習目標の円滑化を図る。そこで, SAMの幾何学的性質の助けを借りて, 逆相における異なるモード間の影響を加味するための勾配修正戦略を提案する。
論文参考訳（メタデータ） (2024-07-05T15:32:07Z)
Robust Latent Representation Tuning for Image-text Classification [9.789498730131607]
大規模モデルに対する頑健な潜在表現チューニング手法を提案する。提案手法では,モダリティ間の相関を最大化するために,モダリティ潜在翻訳モジュールを導入し,ロバストな表現を実現する。このフレームワークでは、トレーニング中に共通セマンティクスが洗練され、1つのモダリティがなくてもロバストなパフォーマンスが達成される。
論文参考訳（メタデータ） (2024-06-10T06:29:00Z)
Unleashing the Power of Meta-tuning for Few-shot Generalization Through Sparse Interpolated Experts [33.58165081033569]
Sparse MetA-Tuning (SMAT) はスパース・ミックス・オブ・エキスパート・アプローチにインスパイアされた手法である。 SMATはOOD感度を克服し、ビジョンファウンデーションモデルの転送能力を高めることを約束する。
論文参考訳（メタデータ） (2024-03-13T12:46:03Z)
When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-12-16T17:13:08Z)
Coupling Fairness and Pruning in a Single Run: a Bi-level Optimization Perspective [17.394732703591462]
本研究では, プルーニングマスクと重み更新処理を公平性制約で協調的に最適化する枠組みを提案する。このフレームワークは、単一実行時の公平性を確保しながら、パフォーマンスを維持するモデルを圧縮するように設計されている。我々の経験的分析は、我々のフレームワークといくつかの主流プルーニング戦略を対比し、モデルフェアネス、パフォーマンス、効率の維持における我々の方法の優位性を強調している。
論文参考訳（メタデータ） (2023-12-15T20:08:53Z)
Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文参考訳（メタデータ） (2023-09-22T06:55:41Z)
Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文参考訳（メタデータ） (2023-03-10T14:38:49Z)
Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文参考訳（メタデータ） (2023-01-28T01:50:42Z)
Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions [40.70793282367128]
本稿では,MRHP(Multimodal Review Helpfulness Prediction)問題に対するマルチモーダルコントラスト学習を提案する。さらに,コントラスト学習における適応重み付け方式を提案する。最後に,マルチモーダルデータの不整合性に対処するマルチモーダルインタラクションモジュールを提案する。
論文参考訳（メタデータ） (2022-11-07T13:05:56Z)
Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。