Fugu-MT 論文翻訳(概要): Domain-aware Self-supervised Pre-training for Label-Efficient Meme Analysis

論文の概要: Domain-aware Self-supervised Pre-training for Label-Efficient Meme Analysis

arxiv url: http://arxiv.org/abs/2209.14667v1
Date: Thu, 29 Sep 2022 10:00:29 GMT
ステータス: 処理完了
システム内更新日: 2022-09-30 16:18:17.147812
Title: Domain-aware Self-supervised Pre-training for Label-Efficient Meme Analysis
Title（参考訳）: ラベル有効ミーム分析のためのドメイン対応自己教師付き事前学習
Authors: Shivam Sharma, Mohd Khizir Siddiqui, Md. Shad Akhtar, Tanmoy Chakraborty
Abstract要約: ミーム分析のための2つの自己教師付き事前学習手法を提案する。まず,事前学習中に,既成のマルチモーダルヘイト音声データを用いる。第二に、複数の専門用語タスクを組み込んだ自己教師型学習を行う。
参考スコア（独自算出の注目度）: 29.888546964947537
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Existing self-supervised learning strategies are constrained to either a limited set of objectives or generic downstream tasks that predominantly target uni-modal applications. This has isolated progress for imperative multi-modal applications that are diverse in terms of complexity and domain-affinity, such as meme analysis. Here, we introduce two self-supervised pre-training methods, namely Ext-PIE-Net and MM-SimCLR that (i) employ off-the-shelf multi-modal hate-speech data during pre-training and (ii) perform self-supervised learning by incorporating multiple specialized pretext tasks, effectively catering to the required complex multi-modal representation learning for meme analysis. We experiment with different self-supervision strategies, including potential variants that could help learn rich cross-modality representations and evaluate using popular linear probing on the Hateful Memes task. The proposed solutions strongly compete with the fully supervised baseline via label-efficient training while distinctly outperforming them on all three tasks of the Memotion challenge with 0.18%, 23.64%, and 0.93% performance gain, respectively. Further, we demonstrate the generalizability of the proposed solutions by reporting competitive performance on the HarMeme task. Finally, we empirically establish the quality of the learned representations by analyzing task-specific learning, using fewer labeled training samples, and arguing that the complexity of the self-supervision strategy and downstream task at hand are correlated. Our efforts highlight the requirement of better multi-modal self-supervision methods involving specialized pretext tasks for efficient fine-tuning and generalizable performance.
Abstract（参考訳）: 既存の自己教師型学習戦略は、限定された目標セットか、主にユニモーダルアプリケーションをターゲットにした一般的な下流タスクに制約される。これは、メタ分析のような複雑さやドメイン親和性の観点から異なる命令型マルチモーダルアプリケーションの進歩を孤立させてきた。ここでは、Ext-PIE-NetとMM-SimCLRという2つの自己教師付き事前学習手法を紹介する。 (i)プレトレーニングの際、市販のマルチモーダルヘイトスピーチデータを用いる。 2)複数の専門用語タスクを取り入れた自己指導型学習を行うことにより,メタ分析に必要な複雑なマルチモーダル表現学習を実現する。我々は,多彩なクロスモダリティ表現を学習し,ヘイトフルなミームタスクにおける一般的な線形探索を用いて評価する潜在的な変種を含む,異なる自己スーパービジョン戦略を試す。提案手法はラベル効率のよいトレーニングを通じて完全に監督されたベースラインと強く競合し,memotion challengeの3つのタスクをそれぞれ0.18%,23.64%,0.93%のパフォーマンス向上でそれぞれ上回った。さらに,HarMemeタスク上での競合性能を報告することにより,提案手法の一般化可能性を示す。最後に,タスク固有の学習を分析し,ラベル付きトレーニングサンプルを少なくすることで,学習表現の質を実証的に確立し,自己スーパービジョン戦略の複雑さと手元にある下流タスクとの相関性を主張した。本研究は,高効率な微調整および一般化可能な性能を実現するために,特別なプレテキストタスクを含む,より優れたマルチモーダル自己監督手法の必要性を強調した。

関連論文リスト

From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Active Fine-Tuning of Generalist Policies [54.65568433408307]
AMF(Active Multi-task Fine-tuning)を提案する。我々は,AMFの性能保証を規則性仮定で導き,複雑・高次元環境における実験的有効性を示す。
論文参考訳（メタデータ） (2024-10-07T13:26:36Z)
Hybrid Training for Enhanced Multi-task Generalization in Multi-agent Reinforcement Learning [7.6201940008534175]
HyGenは、オンラインとオフラインの学習を統合し、マルチタスクの一般化とトレーニング効率の両立を保証する新しいハイブリッドMARLフレームワークである。我々は、我々のフレームワークが一般的なスキルを効果的に抽出し、洗練し、目に見えないタスクに印象的な一般化をもたらすことを実証的に実証した。
論文参考訳（メタデータ） (2024-08-24T12:37:03Z)
Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文参考訳（メタデータ） (2024-01-07T18:12:20Z)
Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文参考訳（メタデータ） (2023-11-06T13:56:57Z)
Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文参考訳（メタデータ） (2023-10-11T06:51:46Z)
Task-Agnostic Continual Reinforcement Learning: Gaining Insights and Overcoming Challenges [27.474011433615317]
連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
論文参考訳（メタデータ） (2022-05-28T17:59:00Z)
Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文参考訳（メタデータ） (2021-11-09T18:49:45Z)
Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
論文参考訳（メタデータ） (2021-11-02T01:50:09Z)
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis [11.368438990334397]
我々は,独立した一助的指導を受けるための自己指導型学習戦略を開発する。我々は3つの公開マルチモーダルベースラインデータセットについて広範な実験を行った。提案手法は,人間の注釈付きアンモダルラベルと同等の性能を達成している。
論文参考訳（メタデータ） (2021-02-09T14:05:02Z)
A Simple General Approach to Balance Task Difficulty in Multi-Task Learning [4.531240717484252]
マルチタスク学習では、異なるタスクの難易度が異なる。本稿では,BMTL(Ba balanced Multi-Task Learning)フレームワークを提案する。提案するBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができる。
論文参考訳（メタデータ） (2020-02-12T04:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。