論文の概要: Adaptive Consistency Regularization for Semi-Supervised Transfer Learning

• arxiv url: http://arxiv.org/abs/2103.02193v1
• Date: Wed, 3 Mar 2021 05:46:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 15:08:16.358363
• Title: Adaptive Consistency Regularization for Semi-Supervised Transfer Learning
• Title（参考訳）: 半教師付き転送学習のための適応整合性正規化
• Authors: Abulikemu Abuduweili, Xingjian Li, Humphrey Shi, Cheng-Zhong Xu, Dejing Dou
• Abstract要約: 我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。 事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。 提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
• 参考スコア（独自算出の注目度）: 31.66745229673066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent studies on semi-supervised learning have shown remarkable progress in leveraging both labeled and unlabeled data, most of them presume a basic setting of the model is randomly initialized. In this work, we consider semi-supervised learning and transfer learning jointly, leading to a more practical and competitive paradigm that can utilize both powerful pre-trained models from source domain as well as labeled/unlabeled data in the target domain. To better exploit the value of both pre-trained weights and unlabeled target examples, we introduce adaptive consistency regularization that consists of two complementary components: Adaptive Knowledge Consistency (AKC) on the examples between the source and target model, and Adaptive Representation Consistency (ARC) on the target model between labeled and unlabeled examples. Examples involved in the consistency regularization are adaptively selected according to their potential contributions to the target task. We conduct extensive experiments on several popular benchmarks including CUB-200-2011, MIT Indoor-67, MURA, by fine-tuning the ImageNet pre-trained ResNet-50 model. Results show that our proposed adaptive consistency regularization outperforms state-of-the-art semi-supervised learning techniques such as Pseudo Label, Mean Teacher, and MixMatch. Moreover, our algorithm is orthogonal to existing methods and thus able to gain additional improvements on top of MixMatch and FixMatch. Our code is available at https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning.
• Abstract（参考訳）: 半教師付き学習に関する最近の研究はラベル付きデータとラベルなしデータの両方を活用するという顕著な進歩を示しているが、そのほとんどは、モデルの基本設定がランダムに初期化されていると仮定している。 本研究では、半教師付き学習とトランスファー学習を共同で検討し、ソースドメインの強力な事前学習モデルとターゲットドメインのラベル付き/ラベルなしデータの両方を利用できる、より実用的かつ競争力のあるパラダイムを実現する。 事前学習した重みと未ラベルの目標例の両方の価値をよりよく活用するために,2つの相補的成分からなる適応的整合性整合性(Adaptive Knowledge Consistency, AKC)とラベル付き例とラベルなし例のターゲットモデルにおける適応的表現整合性(ARC)を導入する。 整合正則化に関わる例は、目標タスクへの潜在的な貢献に応じて適応的に選択される。 我々は、CUB-200-2011、MIT Indoor-67、muraなどの人気のあるベンチマークに対して、ImageNet事前訓練されたResNet-50モデルを微調整して広範な実験を行った。 その結果,提案する適応的一貫性規則化は,擬似ラベル,平均教師,ミックスマッチなど,最先端の半教師学習技術よりも優れていることがわかった。 さらに,本アルゴリズムは既存の手法と直交するので,mixmatch と fixmatch にさらに改良を加えることができる。 私たちのコードはhttps://github.com/SHI-Labs/Semi-Supervised-Transfer-Learningで入手できます。

関連論文リスト

• AdaSemiCD: An Adaptive Semi-Supervised Change Detection Method Based on Pseudo-Label Evaluation [0.0]
  擬似ラベルの使用を改善するための適応型動的半教師付き学習手法であるAdaCDを提案し,学習過程を最適化する。 LEVIR-CD, WHU-CD, CDDデータセットによる実験結果から, 適応学習フレームワークの有効性と普遍性を検証した。
  論文  参考訳（メタデータ） (2024-11-12T12:35:34Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Adaptive Weighted Co-Learning for Cross-Domain Few-Shot Learning [23.615250207134004]
  クロスドメイン少ショット学習(CDFSL)は、非常に困難な適応問題を引き起こす。 適応重み付き共学習法(AWCoL)を提案し,CDFSL問題に対処する。 複数のベンチマークデータセットに対して総合的な実験を行い,提案手法が最先端のCDFSL性能を実現することを示す実証実験を行った。
  論文  参考訳（メタデータ） (2023-12-06T22:09:52Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。