論文の概要: Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and Curriculum Learning

• arxiv url: http://arxiv.org/abs/2112.01948v1
• Date: Fri, 3 Dec 2021 14:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 15:03:47.012393
• Title: Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and Curriculum Learning
• Title（参考訳）: ソフト擬似ラベルとカリキュラム学習による教師なしドメイン適応の促進
• Authors: Shengjia Zhang, Tiancheng Lin, Yi Xu
• Abstract要約: 教師なしドメイン適応(UDA)は、完全にラベル付けされたソースドメインからのデータを活用することにより、ラベル付けされていないターゲットドメインの分類性能を向上させる。 ソフトな擬似ラベル戦略を用いてモデル予測の欠陥を大幅に低減するモデルに依存しない2段階学習フレームワークを提案する。 第2段階では,2つのドメインの損失間の重み付けを適応的に制御するカリキュラム学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 19.903568227077763
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: By leveraging data from a fully labeled source domain, unsupervised domain adaptation (UDA) improves classification performance on an unlabeled target domain through explicit discrepancy minimization of data distribution or adversarial learning. As an enhancement, category alignment is involved during adaptation to reinforce target feature discrimination by utilizing model prediction. However, there remain unexplored problems about pseudo-label inaccuracy incurred by wrong category predictions on target domain, and distribution deviation caused by overfitting on source domain. In this paper, we propose a model-agnostic two-stage learning framework, which greatly reduces flawed model predictions using soft pseudo-label strategy and avoids overfitting on source domain with a curriculum learning strategy. Theoretically, it successfully decreases the combined risk in the upper bound of expected error on the target domain. At the first stage, we train a model with distribution alignment-based UDA method to obtain soft semantic label on target domain with rather high confidence. To avoid overfitting on source domain, at the second stage, we propose a curriculum learning strategy to adaptively control the weighting between losses from the two domains so that the focus of the training stage is gradually shifted from source distribution to target distribution with prediction confidence boosted on the target domain. Extensive experiments on two well-known benchmark datasets validate the universal effectiveness of our proposed framework on promoting the performance of the top-ranked UDA algorithms and demonstrate its consistent superior performance.
• Abstract（参考訳）: 完全にラベル付けされたソースドメインからのデータを活用することにより、教師なしドメイン適応(UDA)は、データ分散の明示的な差分最小化または逆学習により、ラベル付けされていないターゲットドメインの分類性能を向上させる。 拡張として、モデル予測を利用して目標特徴識別を強化する適応中にカテゴリアライメントが関与する。 しかし、対象領域における誤ったカテゴリ予測による擬似ラベル不正確性や、ソース領域への過剰適合による分布偏差については、まだ未解決の問題が残っている。 本稿では,ソフト擬似ラベル戦略による欠陥モデル予測を大幅に削減し,カリキュラム学習戦略によるソース領域への過剰フィットを回避する,モデル非依存な2段階学習フレームワークを提案する。 理論的には、ターゲット領域上の期待誤差の上界における結合リスクを減少させる。 第1段階では,分布アライメントに基づくuda法を用いて,対象領域のソフトセマンティクスラベルを比較的高い信頼度で取得するモデルを訓練する。 ソースドメインの過度な適合を避けるため,第2段階では,2つのドメインの損失間の重み付けを適応的に制御し,トレーニングステージの焦点が,目標ドメインの予測信頼度を高めて,ソース分布からターゲット分布へ徐々にシフトするようにするカリキュラム学習戦略を提案する。 2つのよく知られたベンチマークデータセットに対する広範囲な実験は、上位のUDAアルゴリズムの性能向上における提案フレームワークの普遍的な有効性を検証するとともに、その一貫した優れた性能を示す。

関連論文リスト

• Bi-discriminator Domain Adversarial Neural Networks with Class-Level Gradient Alignment [87.8301166955305]
  そこで本研究では,クラスレベルのアライメントアライメントを有するバイディミネータドメイン対向ニューラルネットワークを提案する。 BACGは、領域分布の整合性を改善するために勾配信号と二階確率推定を利用する。 さらに、対照的な学習にインスパイアされ、トレーニングプロセスを大幅に短縮できるメモリバンクベースの変種であるFast-BACGを開発した。
  論文  参考訳（メタデータ） (2023-10-21T09:53:17Z)
• Cal-SFDA: Source-Free Domain-adaptive Semantic Segmentation with Differentiable Expected Calibration Error [50.86671887712424]
  ドメイン適応型セマンティックセグメンテーションの流行は、ソースドメインデータの漏洩に関する懸念を引き起こしている。 ソースデータの要求を回避するため、ソースフリーなドメイン適応が実現可能なソリューションとして登場した。 校正誘導型ソースフリーなドメイン適応型セマンティックセマンティックセマンティクスフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-06T03:28:34Z)
• Dual Moving Average Pseudo-Labeling for Source-Free Inductive Domain Adaptation [45.024029784248825]
  教師なしドメイン適応は、ソースからターゲットドメインに知識を適用することによって、ディープラーニングにおけるデータアノテーションへの依存を減らす。 プライバシと効率上の懸念に対して、ソースフリーなドメイン適応は、トレーニング済みのソースモデルをラベルなしのターゲットドメインに適応することにより、教師なしのドメイン適応を拡張します。 本稿では,DMAPL (Dual moving Average Pseudo-Labeling) という半教師付きファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T23:20:13Z)
• Source-free Unsupervised Domain Adaptation for Blind Image Quality Assessment [20.28784839680503]
  既存の学習ベースのブラインド画像品質評価法(BIQA)は、大量の注釈付きトレーニングデータに大きく依存している。 本稿では,ソースフリーな非教師付きドメイン適応(SFUDA)への第一歩を,シンプルで効率的な方法で進める。 本稿では、BNアフィンパラメータのターゲット領域への適応を導くための、十分に設計された自己教師対象のグループを示す。
  論文  参考訳（メタデータ） (2022-07-17T09:42:36Z)
• Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
  自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。 従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。 この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-20T14:02:53Z)
• Learning Unbiased Transferability for Domain Adaptation by Uncertainty Modeling [107.24387363079629]
  ドメイン適応は、ラベル付けされたソースドメインからラベル付けされていない、あるいはラベル付けされていないが関連するターゲットドメインに知識を転送することを目的としています。 ソース内のアノテートされたデータの量とターゲットドメインとの間の不均衡のため、ターゲットの分布のみがソースドメインにアライメントされる。 本稿では,非暴力的非暴力的移動可能性推定プラグイン(UTEP)を提案し,非暴力的移動を最適化するDA法において,識別器の不確実性をモデル化する。
  論文  参考訳（メタデータ） (2022-06-02T21:58:54Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Robustified Domain Adaptation [13.14535125302501]
  非教師付きドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの知識伝達に広く使用される。 UDAにおける避けられないドメイン分布の偏りは、ターゲットドメインの堅牢性をモデル化するための重要な障壁である。 頑健な UDA モデルをトレーニングするための新しいクラス一貫性のないunsupervised Domain Adaptation (CURDA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-18T22:21:54Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。