論文の概要: A Unified Contrastive Loss for Self-Training

• arxiv url: http://arxiv.org/abs/2409.07292v1
• Date: Wed, 11 Sep 2024 14:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 14:13:20.328636
• Title: A Unified Contrastive Loss for Self-Training
• Title（参考訳）: 自己学習のための一貫したコントラスト損失
• Authors: Aurelien Gauffre, Julien Horvat, Massih-Reza Amini,
• Abstract要約: 自己学習法は、半教師あり学習において、豊富なラベルのないデータを利用するのに有効であることが証明されている。 本稿では,CE損失の全ての事例を一意の対照的な損失に置き換える,自己学習手法を強化するための一般的な枠組みを提案する。 私たちのフレームワークは,ラベル付きデータに制限のある3つのデータセットに対して,大幅なパフォーマンス向上を実現しています。
• 参考スコア（独自算出の注目度）: 3.3454373538792552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-training methods have proven to be effective in exploiting abundant unlabeled data in semi-supervised learning, particularly when labeled data is scarce. While many of these approaches rely on a cross-entropy loss function (CE), recent advances have shown that the supervised contrastive loss function (SupCon) can be more effective. Additionally, unsupervised contrastive learning approaches have also been shown to capture high quality data representations in the unsupervised setting. To benefit from these advantages in a semi-supervised setting, we propose a general framework to enhance self-training methods, which replaces all instances of CE losses with a unique contrastive loss. By using class prototypes, which are a set of class-wise trainable parameters, we recover the probability distributions of the CE setting and show a theoretical equivalence with it. Our framework, when applied to popular self-training methods, results in significant performance improvements across three different datasets with a limited number of labeled data. Additionally, we demonstrate further improvements in convergence speed, transfer ability, and hyperparameter stability. The code is available at \url{https://github.com/AurelienGauffre/semisupcon/}.
• Abstract（参考訳）: 自己学習法は、ラベル付きデータが不足している場合に、半教師付き学習において、豊富なラベル付きデータを利用するのに有効であることが証明されている。 これらの手法の多くはクロスエントロピー損失関数(CE)に依存しているが、近年の進歩により、教師付きコントラスト損失関数(SupCon)の方が効果的であることが示されている。 さらに、教師なしのコントラスト学習アプローチでは、教師なしの環境で高品質なデータ表現をキャプチャすることも示されている。 半教師付き環境でのこれらの利点を生かし、CE損失の全ての事例をユニークな対照的な損失に置き換える自己学習手法を強化するための一般的な枠組みを提案する。 クラスワイドトレーニング可能なパラメータの集合であるクラスプロトタイプを用いて、CE設定の確率分布を復元し、それと理論的等価性を示す。 我々のフレームワークは、一般的な自己学習手法に適用すると、ラベル付きデータに制限のある3つの異なるデータセット間で、大幅なパフォーマンス向上をもたらす。 さらに, 収束速度, 伝達能力, ハイパーパラメータ安定性のさらなる向上を示す。 コードは \url{https://github.com/AurelienGauffre/semisupcon/} で公開されている。

関連論文リスト

• EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
  経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。 まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。 理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-02T02:40:42Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Tuned Contrastive Learning [77.67209954169593]
  そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。 TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。 我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
  論文  参考訳（メタデータ） (2023-05-18T03:26:37Z)
• Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
  従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。 そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の 総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-04T13:51:29Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• Guided Point Contrastive Learning for Semi-supervised Point Cloud Semantic Segmentation [90.2445084743881]
  そこで本研究では,モデル性能を向上させるために,未ラベルの点群をトレーニングに採用するための半教師付き点群セマンティックセマンティックセマンティックセマンティクスを提案する。 近年の自己監督型タスクのコントラスト損失に触発されて,特徴表現とモデル一般化能力を高めるためのガイド付きポイントコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2021-10-15T16:38:54Z)
• Robust Disentanglement of a Few Factors at a Time [5.156484100374058]
  変分オートエンコーダ(VAE)の整合性向上のための人口ベーストレーニング(PBT)を導入する。 PBT-VAEトレーニングでは、教師なしのモデルスコアとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。 複数のデータセットとメトリクスをまたいで、最先端の教師なしのアンハンジメント性能とロバストネスを著しく改善したことを示す。
  論文  参考訳（メタデータ） (2020-10-26T12:34:23Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Supervised Contrastive Learning [42.27949000093086]
  我々は、自己教師付きバッチコントラストアプローチを完全教師付き設定に拡張する。 教師付きコントラスト(SupCon)損失の2つの可能なバージョンを分析し,損失の最も優れた定式化を同定した。 ResNet-200では、ImageNetデータセットでトップ1の精度が81.4%に達しています。
  論文  参考訳（メタデータ） (2020-04-23T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。