論文の概要: Contrastive Regularization for Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2201.06247v1
• Date: Mon, 17 Jan 2022 07:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 14:02:45.878030
• Title: Contrastive Regularization for Semi-Supervised Learning
• Title（参考訳）: 半教師付き学習におけるコントラスト正規化
• Authors: Doyup Lee, Sungwoong Kim, Ildoo Kim, Yeongjae Cheon, Minsu Cho, Wook-Shin Han
• Abstract要約: そこで本稿では, ラベルのないデータの特徴量により, 整合正則化の効率性と精度を両立させるために, 対照的な正則化を提案する。 また,提案手法は,ラベルなしデータに分布しないサンプルを含むオープンセット半教師付き学習において,頑健な性能を示す。
• 参考スコア（独自算出の注目度）: 46.020125061295886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consistency regularization on label predictions becomes a fundamental technique in semi-supervised learning, but it still requires a large number of training iterations for high performance. In this study, we analyze that the consistency regularization restricts the propagation of labeling information due to the exclusion of samples with unconfident pseudo-labels in the model updates. Then, we propose contrastive regularization to improve both efficiency and accuracy of the consistency regularization by well-clustered features of unlabeled data. In specific, after strongly augmented samples are assigned to clusters by their pseudo-labels, our contrastive regularization updates the model so that the features with confident pseudo-labels aggregate the features in the same cluster, while pushing away features in different clusters. As a result, the information of confident pseudo-labels can be effectively propagated into more unlabeled samples during training by the well-clustered features. On benchmarks of semi-supervised learning tasks, our contrastive regularization improves the previous consistency-based methods and achieves state-of-the-art results, especially with fewer training iterations. Our method also shows robust performance on open-set semi-supervised learning where unlabeled data includes out-of-distribution samples.
• Abstract（参考訳）: ラベル予測における一貫性の正規化は、半教師付き学習において基本的なテクニックとなるが、ハイパフォーマンスのために多くのトレーニングイテレーションが必要である。 本研究では,モデル更新における信頼できない擬似ラベルを用いたサンプルの排除により,一貫性の正規化によりラベル情報の伝播が抑制されることを示す。 そこで本稿では,非ラベルデータの特徴量によって整合性正則化の効率性と精度を両立させるコントラスト正則化を提案する。 具体的には、強く拡張されたサンプルが疑似ラベルによってクラスタに割り当てられた後、我々のコントラスト・レギュライゼーションがモデルを更新し、自信のある疑似ラベルを持つフィーチャが同じクラスタの機能を集約するようにします。 その結果、信頼度の高い擬似ラベルの情報は、よくクラスタ化された特徴によるトレーニング中に、より未ラベルのサンプルに効果的に伝播することができる。 半教師付き学習タスクのベンチマークでは,従来の一貫性に基づく手法を改善し,特に少ないトレーニングイテレーションで最新の結果を得る。 また,ラベルのないデータに分散サンプルを含むオープンセット半教師あり学習におけるロバストな性能を示す。

関連論文リスト

• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• AllMatch: Exploiting All Unlabeled Data for Semi-Supervised Learning [5.0823084858349485]
  提案するSSLアルゴリズムであるAllMatchは,擬似ラベル精度の向上とラベルなしデータの100%利用率の向上を実現する。 その結果、AllMatchは既存の最先端メソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-06-22T06:59:52Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• Controller-Guided Partial Label Consistency Regularization with Unlabeled Data [49.24911720809604]
  本稿では,ラベルレベルと表現レベルの両方において,コントローラ誘導整合正則化を提案する。 信頼度閾値を動的に調整し、整合正則化に参加する各クラスのサンプル数が大まかに等しいようにし、クラス不均衡の問題を緩和する。
  論文  参考訳（メタデータ） (2022-10-20T12:15:13Z)
• Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE) [2.33877878310217]
  Pseudo expectation Maximization (SCOPE) のための半教師付きコントラスト外乱除去法を用いて, 共起誤差を抑制する新しい手法を提案する。 その結果,SCOPEはベースライン上での半教師付き分類精度を大幅に向上し,さらに整合正則化と組み合わせた場合,250と4000のラベル付きサンプルを用いた半教師付きCIFAR-10分類タスクにおいて最も高い精度が得られた。
  論文  参考訳（メタデータ） (2022-06-28T19:32:50Z)
• Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
  SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。 筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。 実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
  論文  参考訳（メタデータ） (2022-03-30T03:52:50Z)
• Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
  ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。 半教師付き長尾認識という新しい認識設定を提案する。 2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
  論文  参考訳（メタデータ） (2021-05-01T00:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。