論文の概要: Curriculum Learning Meets Weakly Supervised Modality Correlation Learning

• arxiv url: http://arxiv.org/abs/2212.07619v1
• Date: Thu, 15 Dec 2022 05:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 17:28:04.072466
• Title: Curriculum Learning Meets Weakly Supervised Modality Correlation Learning
• Title（参考訳）: 弱教師付きモダリティ相関学習におけるカリキュラム学習
• Authors: Sijie Mai, Ya Sun, Haifeng Hu
• Abstract要約: カリキュラム学習を弱教師付きモダリティ相関学習に導入する。 相関学習を支援するために,学習の難しさに応じてトレーニングペアをモデルに供給する。 提案手法は,マルチモーダル感情分析における最先端の性能に達する。
• 参考スコア（独自算出の注目度）: 26.754095474534534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of multimodal sentiment analysis (MSA), a few studies have leveraged the inherent modality correlation information stored in samples for self-supervised learning. However, they feed the training pairs in a random order without consideration of difficulty. Without human annotation, the generated training pairs of self-supervised learning often contain noise. If noisy or hard pairs are used for training at the easy stage, the model might be stuck in bad local optimum. In this paper, we inject curriculum learning into weakly supervised modality correlation learning. The weakly supervised correlation learning leverages the label information to generate scores for negative pairs to learn a more discriminative embedding space, where negative pairs are defined as two unimodal embeddings from different samples. To assist the correlation learning, we feed the training pairs to the model according to difficulty by the proposed curriculum learning, which consists of elaborately designed scoring and feeding functions. The scoring function computes the difficulty of pairs using pre-trained and current correlation predictors, where the pairs with large losses are defined as hard pairs. Notably, the hardest pairs are discarded in our algorithm, which are assumed as noisy pairs. Moreover, the feeding function takes the difference of correlation losses as feedback to determine the feeding actions (`stay', `step back', or `step forward'). The proposed method reaches state-of-the-art performance on MSA.
• Abstract（参考訳）: マルチモーダル感情分析(MSA)の分野では、自己教師型学習のためのサンプルに格納された固有なモダリティ相関情報を活用する研究がいくつかある。 しかし、それらは困難を考慮せずにランダムな順序でトレーニングペアを供給します。 人間のアノテーションがなければ、生成された自己教師付き学習のトレーニングペアにはノイズが含まれます。 騒音やハードペアが簡単な段階でトレーニングに使用される場合、モデルが局所的に悪い最適に固定される可能性がある。 本稿では,カリキュラム学習を弱教師付きモダリティ相関学習に注入する。 弱教師付き相関学習はラベル情報を利用して負のペアのスコアを生成し、より識別的な埋め込み空間を学習する。 相関学習を支援するために,提案するカリキュラム学習の難易度に応じて,学習ペアをモデルに与える。 スコアリング関数は、事前訓練および電流相関予測器を用いてペアの難易度を計算し、大きな損失を持つペアをハードペアとして定義する。 特に、最も難しいペアは、ノイズの多いペアと仮定されるアルゴリズムで破棄される。 さらに、給餌関数は相関損失の差をフィードバックとして受け取り、給餌行動を決定する(「ステイ」、「ステップバック」、または「ステップフォワード」)。 提案手法はMSAの最先端性能に達する。

関連論文リスト

• Deep Bayesian Active Learning-to-Rank with Relative Annotation for Estimation of Ulcerative Colitis Severity [10.153691271169745]
  本稿では,相対的アノテーションに対して適切なペアを自動的に選択する深ベイズ能動的学習 to ランクを提案する。 本手法は,サンプルのモデル不確実性から,ラベルのないペアに高い学習効率でアノテートする。
  論文  参考訳（メタデータ） (2024-09-08T02:19:40Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Uncertainty-Aware Bootstrap Learning for Joint Extraction on Distantly-Supervised Data [36.54640096189285]
  ブートストラップ学習は、インスタンスの不確実性が高ければ高いほど、モデルの信頼性は基礎的な真実と矛盾する可能性が高いという直感によって動機付けられます。 まず、まずインスタンスレベルのデータ不確実性を調べて、信頼度の高い最初の例を作成します。 ブートストラップ学習において,ノイズラベルが生成するモデル間不確実性を軽減するために,正規化器としての自己認識を提案する。
  論文  参考訳（メタデータ） (2023-05-05T20:06:11Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。