論文の概要: Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2202.11915v1
• Date: Thu, 24 Feb 2022 06:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 16:56:08.302911
• Title: Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning
• Title（参考訳）: 補間に基づく半教師付き学習のためのコントラスト学習
• Authors: Xihong Yang, Xiaochang Hu, Sihang Zhou, Xinwang Liu, En Zhu
• Abstract要約: 半教師付き学習(SSL)は,ラベルが限定された強力なモデルを構築する上で,有効な手法であることが長年証明されてきた。 摂動サンプルを元のものと類似した予測を強制する正規化に基づく手法が注目されている。 本稿では,学習ネットワークの埋め込みを誘導し,サンプル間の線形変化を誘導する新たな対照的な損失を提案する。
• 参考スコア（独自算出の注目度）: 43.51182049644767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised learning (SSL) has long been proved to be an effective technique to construct powerful models with limited labels. In the existing literature, consistency regularization-based methods, which force the perturbed samples to have similar predictions with the original ones have attracted much attention for their promising accuracy. However, we observe that, the performance of such methods decreases drastically when the labels get extremely limited, e.g., 2 or 3 labels for each category. Our empirical study finds that the main problem lies with the drifting of semantic information in the procedure of data augmentation. The problem can be alleviated when enough supervision is provided. However, when little guidance is available, the incorrect regularization would mislead the network and undermine the performance of the algorithm. To tackle the problem, we (1) propose an interpolation-based method to construct more reliable positive sample pairs; (2) design a novel contrastive loss to guide the embedding of the learned network to change linearly between samples so as to improve the discriminative capability of the network by enlarging the margin decision boundaries. Since no destructive regularization is introduced, the performance of our proposed algorithm is largely improved. Specifically, the proposed algorithm outperforms the second best algorithm (Comatch) with 5.3% by achieving 88.73% classification accuracy when only two labels are available for each class on the CIFAR-10 dataset. Moreover, we further prove the generality of the proposed method by improving the performance of the existing state-of-the-art algorithms considerably with our proposed strategy.
• Abstract（参考訳）: 半教師付き学習(SSL)は,限られたラベルを持つ強力なモデルを構築する上で,有効な手法であることが長年証明されてきた。 既存の文献では、摂動サンプルが元のサンプルと類似した予測を行うように強制する整合正則化に基づく手法が、有望な精度で注目されている。 しかし,これらの手法の性能は,ラベルが極端に制限された場合,例えば,各カテゴリの2～3ラベルなど,劇的に低下する。 我々の実証研究は、データ拡張の手順において意味情報の漂流が主な問題であることを示している。 十分な監視が提供されると、問題は緩和される。 しかし、ガイダンスがほとんど得られない場合、不正な正規化はネットワークを誤解させ、アルゴリズムの性能を損なうことになる。 この問題に対処するために,(1)より信頼性の高い正のサンプルペアを構築する補間法,(2)学習ネットワークの埋め込みを誘導する新たなコントラスト損失を設計し,サンプル間の線形変化を誘導し,マージン決定境界を大きくすることで,ネットワークの識別能力を向上させることを提案する。 破壊正則化は導入されないため,提案アルゴリズムの性能は大幅に改善されている。 具体的には、提案アルゴリズムは、CIFAR-10データセットの各クラスで2つのラベルしか利用できない場合に、88.73%の分類精度を達成し、第2のベストアルゴリズム(Comatch)を5.3%で上回っている。 さらに,提案手法の汎用性は,提案手法を用いて既存の最先端アルゴリズムの性能を著しく向上させることによって証明する。

関連論文リスト

• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Unsupervised feature selection via self-paced learning and low-redundant regularization [6.083524716031565]
  自己評価学習とサブスペース学習の枠組みを統合することにより,教師なしの特徴選択を提案する。 この手法の収束性は理論的および実験的に証明される。 実験の結果,提案手法はクラスタリング法の性能を向上し,他の比較アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-12-14T08:28:19Z)
• A new weakly supervised approach for ALS point cloud semantic segmentation [1.4620086904601473]
  本稿では,ALS点雲のセマンティックセグメンテーションのための,ディープラーニングに基づく弱教師付きフレームワークを提案する。 不完全でスパースなラベルの対象となるラベルのないデータから潜在的情報を利用する。 本手法は, 総合精度が83.0%, 平均F1スコアが70.0%であり, それぞれ6.9%, 12.8%増加した。
  論文  参考訳（メタデータ） (2021-10-04T14:00:23Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。