論文の概要: Improve Unsupervised Pretraining for Few-label Transfer

• arxiv url: http://arxiv.org/abs/2107.12369v1
• Date: Mon, 26 Jul 2021 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 16:18:55.325074
• Title: Improve Unsupervised Pretraining for Few-label Transfer
• Title（参考訳）: 少ないラベル転送のための教師なし事前訓練の改善
• Authors: Suichan Li and Dongdong Chen and Yinpeng Chen and Lu Yuan and Lei Zhang and Qi Chu and Bin Liu and Nenghai Yu
• Abstract要約: 本稿では,対象データセットに微調整用のラベル付きサンプルがほとんどない場合,この結論は成立しない可能性がある。 実アプリケーションのための新しいプログレッシブな数ラベル転送アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 80.58625921631506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised pretraining has achieved great success and many recent works have shown unsupervised pretraining can achieve comparable or even slightly better transfer performance than supervised pretraining on downstream target datasets. But in this paper, we find this conclusion may not hold when the target dataset has very few labeled samples for finetuning, \ie, few-label transfer. We analyze the possible reason from the clustering perspective: 1) The clustering quality of target samples is of great importance to few-label transfer; 2) Though contrastive learning is essential to learn how to cluster, its clustering quality is still inferior to supervised pretraining due to lack of label supervision. Based on the analysis, we interestingly discover that only involving some unlabeled target domain into the unsupervised pretraining can improve the clustering quality, subsequently reducing the transfer performance gap with supervised pretraining. This finding also motivates us to propose a new progressive few-label transfer algorithm for real applications, which aims to maximize the transfer performance under a limited annotation budget. To support our analysis and proposed method, we conduct extensive experiments on nine different target datasets. Experimental results show our proposed method can significantly boost the few-label transfer performance of unsupervised pretraining.
• Abstract（参考訳）: 教師なし事前学習は大きな成功を収めており、近年の多くの研究により、教師なし事前学習は下流ターゲットデータセットでの教師付き事前訓練よりも同等あるいはわずかに優れた転送性能が得られることが示されている。 しかし,本論文では,この結論は,対象データセットにファインタニング,シャイ,少数ラベル転送のためのラベル付きサンプルが極めて少ない場合に成立しない可能性がある。 1) 対象サンプルのクラスタリング品質は,少数ラベル転送において非常に重要である; 2) クラスタリングの学習には対照的な学習が不可欠であるが,そのクラスタリング品質は,ラベル管理の欠如により教師付き事前学習よりも劣っている。 分析結果から,教師なし事前トレーニングにラベルなしのターゲットドメインのみを組み込むことでクラスタリング品質が向上し,教師なし事前トレーニングによる転送性能ギャップが低減できることが興味深い。 また,本手法は,制約付きアノテーション予算下での転送性能の最大化を目的とした,プログレッシブな数ラベル転送アルゴリズムを提案する。 分析と提案手法を支援するため,9つの異なるターゲットデータセットについて広範な実験を行った。 実験の結果,提案手法は教師なしプリトレーナーの少ないラベル転送性能を著しく向上させることがわかった。

関連論文リスト

• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Weakly Supervised Video Anomaly Detection Based on Cross-Batch Clustering Guidance [39.43891080713327]
  ビデオレベルのラベルのみをトレーニングできるため、弱教師付きビデオ異常検出(WSVAD)は難しい課題である。 本稿では,クロスバッチクラスタリングガイダンスに基づく新しいWSVAD手法を提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:38:30Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Revisiting the Transferability of Supervised Pretraining: an MLP Perspective [78.51258076624046]
  教師なし事前学習手法の最近の進歩は、教師付きプレトレーニング手法よりも優れた転送性能を示す。 本稿では,多層パーセプトロン(MLP)の観点から,教師なしと教師なしの事前学習間の伝達可能性ギャップの理解に新たな光を当てる。 また,プロジェクタは,教師なし事前訓練法よりも教師なし事前訓練法の伝達性を向上させる重要な要因であることを明らかにした。
  論文  参考訳（メタデータ） (2021-12-01T13:47:30Z)
• Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
  ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
  論文  参考訳（メタデータ） (2020-12-10T18:59:29Z)
• Self-Supervised Prototypical Transfer Learning for Few-Shot Classification [11.96734018295146]
  自己教師ありトランスファー学習アプローチ ProtoTransferは、数ショットタスクにおいて、最先端の教師なしメタラーニング手法より優れている。 ドメインシフトを用いた数ショットの実験では、我々のアプローチは教師付きメソッドに匹敵する性能を持つが、ラベルの桁数は桁違いである。
  論文  参考訳（メタデータ） (2020-06-19T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。