論文の概要: Cycle Self-Training for Domain Adaptation

• arxiv url: http://arxiv.org/abs/2103.03571v1
• Date: Fri, 5 Mar 2021 10:04:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 04:29:15.148142
• Title: Cycle Self-Training for Domain Adaptation
• Title（参考訳）: ドメイン適応のためのサイクル自己訓練
• Authors: Hong Liu and Jianmin Wang and Mingsheng Long
• Abstract要約: Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。 CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。 実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
• 参考スコア（独自算出の注目度）: 85.14659717421533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mainstream approaches for unsupervised domain adaptation (UDA) learn domain-invariant representations to bridge domain gap. More recently, self-training has been gaining momentum in UDA. Originated from semi-supervised learning, self-training uses unlabeled data efficiently by training on pseudo-labels. However, as corroborated in this work, under distributional shift in UDA, the pseudo-labels can be unreliable in terms of their large discrepancy from the ground truth labels. Thereby, we propose Cycle Self-Training (CST), a principled self-training algorithm that enforces pseudo-labels to generalize across domains. In the forward step, CST generates target pseudo-labels with a source-trained classifier. In the reverse step, CST trains a target classifier using target pseudo-labels, and then updates the shared representations to make the target classifier perform well on the source data. We introduce the Tsallis entropy, a novel regularization to improve the quality of target pseudo-labels. On quadratic neural networks, we prove that CST recovers target ground truth, while both invariant feature learning and vanilla self-training fail. Empirical results indicate that CST significantly improves over prior state-of-the-arts in standard UDA benchmarks across visual recognition and sentiment analysis tasks.
• Abstract（参考訳）: 教師なしドメイン適応(UDA)に対するメインストリームアプローチは、ドメイン間のギャップを埋めるためにドメイン不変表現を学ぶ。 最近では、UDAの自己学習が勢いを増している。 半教師付き学習から派生したセルフトレーニングは、疑似ラベルのトレーニングによってラベルなしデータを効率的に利用します。 しかし、この研究で裏付けられたように、UDAの分布シフトの下で、疑似ラベルは地上の真理ラベルとの大きな相違の点では信頼できない。 そこで本研究では,疑似ラベルを一般化させる原理的自己学習アルゴリズムであるcycle self-training (cst)を提案する。 前進ステップでは、CSTはソース訓練された分類器でターゲット擬似ラベルを生成する。 逆ステップでは、CSTはターゲット擬似ラベルを使用してターゲット分類器を訓練し、共有表現を更新して、ターゲット分類器をソースデータ上で良好に動作させる。 ターゲット擬似ラベルの品質を向上させるための新しい正規化である tsallis entropy を導入する。 2次ニューラルネットワークでは、CSTがターゲットの真実を回復するのに対し、不変の特徴学習とバニラ自己学習はどちらも失敗する。 実験の結果、CSTは視覚認識や感情分析のタスクにまたがる標準的なUDAベンチマークにおいて、先行技術よりも大幅に改善されていることが示唆された。

関連論文リスト

• ECAP: Extensive Cut-and-Paste Augmentation for Unsupervised Domain Adaptive Semantic Segmentation [4.082799056366928]
  本稿では,データ拡張を通じて信頼性の高い擬似ラベルを活用するための広範囲なカット・アンド・ペースト戦略(ECAP)を提案する。 ECAPはトレーニングを通じて擬似ラベル付きターゲットサンプルのメモリバンクを保持し、現在のトレーニングバッチに最も自信のあるサンプルをカット&ペーストする。 我々は,最近のMIC法に基づいてECPを実装し,その性能を2つの合成-実領域適応ベンチマークで向上させる。
  論文  参考訳（メタデータ） (2024-03-06T17:06:07Z)
• Unsupervised Domain Adaptation for Semantic Segmentation with Pseudo Label Self-Refinement [9.69089112870202]
  擬似ラベルのオンライン精錬のための補助的擬似ラベル精錬ネットワーク(PRN)を提案する。 3つの異なるドメインシフトを持つベンチマークデータセットに対する我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2023-10-25T20:31:07Z)
• GeT: Generative Target Structure Debiasing for Domain Adaptation [67.17025068995835]
  ドメイン適応(DA)は、ドメインシフトの下で、完全にラベル付けされたソースからほとんどラベル付けされていない、または完全にラベル付けされていないターゲットに知識を転送することを目的としています。 近年,擬似ラベリングを利用した半教師付き学習(SSL)技術がDAでますます普及している。 本稿では,高品質な擬似ラベルを用いた非バイアス対象埋め込み分布を学習するGeTを提案する。
  論文  参考訳（メタデータ） (2023-08-20T08:52:43Z)
• Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
  自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。 従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。 この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-20T14:02:53Z)
• Cycle Label-Consistent Networks for Unsupervised Domain Adaptation [57.29464116557734]
  ドメイン適応は、ラベル付きソースドメインを活用して、異なる分布を持つラベル付きターゲットドメインの分類子を学ぶことを目的としています。 本稿では,分類ラベルのサイクル整合性を利用して,シンプルで効率的な領域適応手法,すなわちCycle Label-Consistent Network (CLCN)を提案する。 MNIST-USPS-SVHN, Office-31, Office-Home, Image CLEF-DAベンチマークに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2022-05-27T13:09:08Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Adaptive Pseudo-Label Refinement by Negative Ensemble Learning for Source-Free Unsupervised Domain Adaptation [35.728603077621564]
  既存のUnsupervised Domain Adaptation (UDA)メソッドは、トレーニング中にソースとターゲットのドメインデータを同時に利用できると仮定する。 訓練済みのソースモデルは、よく知られたドメインシフトの問題により、ターゲットに対して性能が悪くても、常に利用可能であると考えられている。 適応型ノイズフィルタリングと擬似ラベル改良に取り組むための統一手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T22:18:34Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Domain Adaptation with Auxiliary Target Domain-Oriented Classifier [115.39091109079622]
  ドメイン適応は、知識をラベルリッチだが異質なドメインからラベルケアドメインに転送することを目的としている。 最も一般的なSSLテクニックの1つは、ラベルのない各データに擬似ラベルを割り当てる擬似ラベル付けである。 我々はAuxiliary Target Domain-Oriented (ATDOC) と呼ばれる新しい擬似ラベリングフレームワークを提案する。 ATDOCは、ターゲットデータのみのための補助分類器を導入してバイアスを軽減し、擬似ラベルの品質を向上させる。
  論文  参考訳（メタデータ） (2020-07-08T15:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。