論文の概要: Revisiting Pretraining for Semi-Supervised Learning in the Low-Label Regime

• arxiv url: http://arxiv.org/abs/2205.03001v1
• Date: Fri, 6 May 2022 03:53:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 20:37:57.934223
• Title: Revisiting Pretraining for Semi-Supervised Learning in the Low-Label Regime
• Title（参考訳）: 低音域における半教師付き学習のための再学習事前学習
• Authors: Xun Xu, Jingyi Liao, Lile Cai, Manh Cuong Nguyen, Kangkang Lu, Wanyue Zhang, Yasin Yazici, Chuan Sheng Foo
• Abstract要約: 半教師付き学習(SSL)は、擬似ラベル付けによって大きなラベル付きデータを活用することでラベル付きデータの欠如に対処する。 近年の研究では、訓練済み重量の微調整(FT)をSSLと組み合わせて課題を緩和し、低ラベル体制においてより優れた結果を主張している。
• 参考スコア（独自算出の注目度）: 15.863530936691157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semi-supervised learning (SSL) addresses the lack of labeled data by exploiting large unlabeled data through pseudolabeling. However, in the extremely low-label regime, pseudo labels could be incorrect, a.k.a. the confirmation bias, and the pseudo labels will in turn harm the network training. Recent studies combined finetuning (FT) from pretrained weights with SSL to mitigate the challenges and claimed superior results in the low-label regime. In this work, we first show that the better pretrained weights brought in by FT account for the state-of-the-art performance, and importantly that they are universally helpful to off-the-shelf semi-supervised learners. We further argue that direct finetuning from pretrained weights is suboptimal due to covariate shift and propose a contrastive target pretraining step to adapt model weights towards target dataset. We carried out extensive experiments on both classification and segmentation tasks by doing target pretraining then followed by semi-supervised finetuning. The promising results validate the efficacy of target pretraining for SSL, in particular in the low-label regime.
• Abstract（参考訳）: semi-supervised learning (ssl) は、擬似ラベルによる大きなラベルなしデータの活用によってラベル付きデータの欠如に対処する。 しかし、極端に低ラベルの状態では、疑似ラベルは誤り、すなわち確認バイアスがあり、擬似ラベルはネットワークトレーニングに悪影響を及ぼす可能性がある。 近年の研究では、訓練済み重量の微調整(FT)をSSLと組み合わせて課題を緩和し、低ラベル体制において優れた結果を主張している。 そこで本研究では,FTが導入した事前学習の重み付けにより,最先端の性能が向上し,半教師付き半教師型学習者にとって有益であることを示す。 さらに,事前学習した重みからの直接微調整は共変量シフトによる最適値であり,モデル重みを目標データセットに適応させるための対照的な目標事前訓練ステップを提案する。 目標事前学習を行い, 準教師付き微調整を行い, 分類と分割の双方について広範囲な実験を行った。 有望な結果は、特に低ラベル状態において、SSLに対するターゲット事前トレーニングの有効性を検証した。

関連論文リスト

• Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
  半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。 SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。 TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-26T21:50:30Z)
• Learning Label Refinement and Threshold Adjustment for Imbalanced Semi-Supervised Learning [6.904448748214652]
  半教師付き学習アルゴリズムは、不均衡なトレーニングデータに晒された場合、うまく機能しない。 Validation Data(SEVAL)に基づく擬似ラベル最適化によるセミ教師あり学習について紹介する。 SEVALは、擬似ラベルの精度を改善して特定のタスクに適応し、クラスごとに擬似ラベルの正確性を保証する。
  論文  参考訳（メタデータ） (2024-07-07T13:46:22Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification [64.39761523935613]
  トレーニング中の各クラスに対する正と負の擬似ラベルのスコア閾値を動的に変更するためのパーセンタイルベースのしきい値調整手法を提案する。 近年のSSL方式と比較して, Pascal VOC2007 と MS-COCO のデータセットの性能は高い。
  論文  参考訳（メタデータ） (2022-08-30T01:27:48Z)
• CaSP: Class-agnostic Semi-Supervised Pretraining for Detection and Segmentation [60.28924281991539]
  本稿では,タスク固有性バランスを向上するために,クラス非依存型半教師付き事前学習(CaSP)フレームワークを提案する。 我々は3.6Mの未ラベルデータを用いて、ImageNetで規定されたオブジェクト検出のベースラインよりも4.7%の顕著なパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2021-12-09T14:54:59Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。