論文の概要: Two-phase Pseudo Label Densification for Self-training based Domain Adaptation

• arxiv url: http://arxiv.org/abs/2012.04828v1
• Date: Wed, 9 Dec 2020 02:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 14:49:52.014165
• Title: Two-phase Pseudo Label Densification for Self-training based Domain Adaptation
• Title（参考訳）: 自己学習に基づくドメイン適応のための2相擬似ラベルデンシフィケーション
• Authors: Inkyu Shin, Sanghyun Woo, Fei Pan and InSo Kweon
• Abstract要約: TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
• 参考スコア（独自算出の注目度）: 93.03265290594278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, deep self-training approaches emerged as a powerful solution to the unsupervised domain adaptation. The self-training scheme involves iterative processing of target data; it generates target pseudo labels and retrains the network. However, since only the confident predictions are taken as pseudo labels, existing self-training approaches inevitably produce sparse pseudo labels in practice. We see this is critical because the resulting insufficient training-signals lead to a suboptimal, error-prone model. In order to tackle this problem, we propose a novel Two-phase Pseudo Label Densification framework, referred to as TPLD. In the first phase, we use sliding window voting to propagate the confident predictions, utilizing intrinsic spatial-correlations in the images. In the second phase, we perform a confidence-based easy-hard classification. For the easy samples, we now employ their full pseudo labels. For the hard ones, we instead adopt adversarial learning to enforce hard-to-easy feature alignment. To ease the training process and avoid noisy predictions, we introduce the bootstrapping mechanism to the original self-training loss. We show the proposed TPLD can be easily integrated into existing self-training based approaches and improves the performance significantly. Combined with the recently proposed CRST self-training framework, we achieve new state-of-the-art results on two standard UDA benchmarks.
• Abstract（参考訳）: 近年、教師なし領域適応の強力な解決策として、深層自己学習アプローチが出現している。 自己トレーニング方式は、ターゲットデータの反復処理を伴い、ターゲットの擬似ラベルを生成し、ネットワークを再トレーニングする。 しかし、自信ある予測のみを擬似ラベルとみなすため、既存の自己学習アプローチは必然的にスパースな擬似ラベルを生成する。 結果としてトレーニング信号が不十分なため、最適でないエラーが発生しやすいモデルになるため、これは非常に重要です。 この問題に対処するために, TPLD と呼ばれる新しい2相Pseudo Label Densification フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 簡単なサンプルには、完全な擬似ラベルを使用します。 その代わりに、難しい機能アライメントを強制するために、敵対的な学習を採用します。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。 提案するTPLDは,既存の自己学習型アプローチに容易に統合でき,性能が大幅に向上することを示す。 最近提案されたCRST自己学習フレームワークと組み合わせて、2つの標準UDAベンチマークで最新の結果を得る。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Rethinking Self-training for Semi-supervised Landmark Detection: A Selection-free Approach [4.511384690621755]
  Self-Training for Landmark Detection (STLD) は、明示的な擬似ラベル選択を必要としない手法である。 STLDは、確認バイアスに対処するタスクカリキュラムを構築する。 3つの顔と1つの医学的ランドマーク検出ベンチマークの実験は、STLDが既存の方法より優れていることを示している。
  論文  参考訳（メタデータ） (2024-04-06T08:45:07Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• DaMSTF: Domain Adversarial Learning Enhanced Meta Self-Training for Domain Adaptation [20.697905456202754]
  ドメイン適応のための新しい自己学習フレームワーク、すなわちドメイン逆学習強化自己学習フレームワーク(DaMSTF)を提案する。 DaMSTFはメタラーニングによって各擬似インスタンスの重要性を推定し、ラベルノイズを同時に低減し、ハードサンプルを保存する。 DaMSTFはBERTの性能を平均4%近く改善する。
  論文  参考訳（メタデータ） (2023-08-05T00:14:49Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Constraining Pseudo-label in Self-training Unsupervised Domain Adaptation with Energy-based Model [26.074500538428364]
  ラベル付きソースドメインの知識をラベル付きターゲットドメインに導入するために、unsupervised domain adaptation (UDA) が開発されている。 近年、深層自己学習は、ターゲットドメインを予測する反復的なプロセスを含む、UDAにとって強力な手段となる。 我々はエネルギーベースモデルを採用し,エネルギー関数最小化の目標とする未ラベル対象試料の訓練を制約する。
  論文  参考訳（メタデータ） (2022-08-26T22:50:23Z)
• Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
  自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。 従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。 この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-20T14:02:53Z)
• Cycle Self-Training for Domain Adaptation [85.14659717421533]
  Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。 CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。 実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
  論文  参考訳（メタデータ） (2021-03-05T10:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。