論文の概要: Robust Target Training for Multi-Source Domain Adaptation
- arxiv url: http://arxiv.org/abs/2210.01676v1
- Date: Tue, 4 Oct 2022 15:20:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 14:42:43.270972
- Title: Robust Target Training for Multi-Source Domain Adaptation
- Title（参考訳）: マルチソースドメイン適応のためのロバストターゲットトレーニング
- Authors: Zhongying Deng, Da Li, Yi-Zhe Song, Tao Xiang
- Abstract要約: 両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。
提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
- 参考スコア（独自算出の注目度）: 110.77704026569499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given multiple labeled source domains and a single target domain, most
existing multi-source domain adaptation (MSDA) models are trained on data from
all domains jointly in one step. Such an one-step approach limits their ability
to adapt to the target domain. This is because the training set is dominated by
the more numerous and labeled source domain data. The source-domain-bias can
potentially be alleviated by introducing a second training step, where the
model is fine-tuned with the unlabeled target domain data only using pseudo
labels as supervision. However, the pseudo labels are inevitably noisy and when
used unchecked can negatively impact the model performance. To address this
problem, we propose a novel Bi-level Optimization based Robust Target Training
(BORT$^2$) method for MSDA. Given any existing fully-trained one-step MSDA
model, BORT$^2$ turns it to a labeling function to generate pseudo-labels for
the target data and trains a target model using pseudo-labeled target data
only. Crucially, the target model is a stochastic CNN which is designed to be
intrinsically robust against label noise generated by the labeling function.
Such a stochastic CNN models each target instance feature as a Gaussian
distribution with an entropy maximization regularizer deployed to measure the
label uncertainty, which is further exploited to alleviate the negative impact
of noisy pseudo labels. Training the labeling function and the target model
poses a nested bi-level optimization problem, for which we formulate an elegant
solution based on implicit differentiation. Extensive experiments demonstrate
that our proposed method achieves the state of the art performance on three
MSDA benchmarks, including the large-scale DomainNet dataset. Our code will be
available at \url{https://github.com/Zhongying-Deng/BORT2}
- Abstract（参考訳）: 複数のラベル付きソースドメインと単一のターゲットドメインが与えられた場合、既存のマルチソースドメイン適応(MSDA)モデルは、1ステップですべてのドメインのデータに基づいてトレーニングされる。
このようなワンステップアプローチは、ターゲットドメインに適応する能力を制限する。
これは、トレーニングセットがより多くラベル付けされたソースドメインデータに支配されているためです。
ソースドメインバイアスは、疑似ラベルのみを監督として使用する、ラベルなしのターゲットドメインデータに微調整された第2のトレーニングステップを導入することで緩和される可能性がある。
しかし、疑似ラベルは必然的にうるさく、未確認の使用はモデル性能に悪影響を及ぼす可能性がある。
この問題に対処するため,MSDA のための新しい Bi-level Optimization based Robust Target Training (BORT$^2$) 法を提案する。
既存の完全に訓練されたMSDAモデルを考えると、BORT$^2$はそれをラベル付け関数に変換してターゲットデータのための擬似ラベルを生成し、擬似ラベル付きターゲットデータのみを使用してターゲットモデルをトレーニングする。
重要となるのは、ターゲットモデルは、ラベル関数によって生成されるラベルノイズに対して本質的に堅牢であるように設計された確率的cnnである。
このような確率的CNNは、ラベルの不確実性を測定するためにエントロピー最大化正規化器が配置されたガウス分布として、各ターゲットのインスタンス特徴をモデル化する。
ラベル付け関数と対象モデルを訓練すると、暗黙の微分に基づいてエレガントな解を定式化するネスト付き二段階最適化問題が発生する。
大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,提案手法が技術性能に与える影響を実証した。
我々のコードは \url{https://github.com/Zhongying-Deng/BORT2} で入手できる。
関連論文リスト
- Inter-Domain Mixup for Semi-Supervised Domain Adaptation [108.40945109477886]
半教師付きドメイン適応(SSDA)は、ソースとターゲットのドメイン分布をブリッジすることを目的としており、少数のターゲットラベルが利用可能である。
既存のSSDAの作業は、ソースドメインとターゲットドメインの両方からラベル情報をフル活用して、ドメイン間の機能アライメントに失敗する。
本稿では,新しいSSDA手法であるIDMNE(Inter-domain Mixup with Neighborhood Expansion)を提案する。
論文 参考訳（メタデータ） (2024-01-21T10:20:46Z) - De-Confusing Pseudo-Labels in Source-Free Domain Adaptation [14.954662088592762]
ソースのないドメイン適応は、ソースデータにアクセスすることなく、未ラベルのターゲットドメインにソース訓練されたモデルを適用することを目的としている。
本稿では,ドメイン適応設定における雑音分布に対処するための新しいノイズ学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-03T10:07:11Z) - Target and Task specific Source-Free Domain Adaptive Image Segmentation [73.78898054277538]
ソースフリー領域適応画像分割のための2段階のアプローチを提案する。
我々は,高エントロピー領域を抑えつつ,ターゲット固有の擬似ラベルを生成することに注力する。
第2段階では、タスク固有の表現にネットワークを適用することに重点を置いている。
論文 参考訳（メタデータ） (2022-03-29T17:50:22Z) - Semi-Supervised Domain Adaptation with Prototypical Alignment and
Consistency Learning [86.6929930921905]
本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。
ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。
具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
論文 参考訳（メタデータ） (2021-04-19T08:46:08Z) - Adaptive Pseudo-Label Refinement by Negative Ensemble Learning for
Source-Free Unsupervised Domain Adaptation [35.728603077621564]
既存のUnsupervised Domain Adaptation (UDA)メソッドは、トレーニング中にソースとターゲットのドメインデータを同時に利用できると仮定する。
訓練済みのソースモデルは、よく知られたドメインシフトの問題により、ターゲットに対して性能が悪くても、常に利用可能であると考えられている。
適応型ノイズフィルタリングと擬似ラベル改良に取り組むための統一手法を提案する。
論文 参考訳（メタデータ） (2021-03-29T22:18:34Z) - A Free Lunch for Unsupervised Domain Adaptive Object Detection without
Source Data [69.091485888121]
教師なしドメイン適応(unsupervised domain adaptation) ソースとターゲットのドメインデータは自由に利用でき、通常、ドメイン間のギャップを減らすために一緒に訓練される。
ノイズの多いラベルで学習する問題にモデル化することで,ソースデータのないドメイン適応オブジェクト検出(SFOD)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-12-10T01:42:35Z) - Unsupervised Domain Adaptation for Person Re-Identification through
Source-Guided Pseudo-Labeling [2.449909275410288]
人物再識別(re-ID)は、異なるカメラで撮影された同一人物の画像を取得することを目的としている。
Unsupervised Domain Adaptation (UDA)は、ターゲットデータの高価なアノテーションを避けるため、この課題に対する興味深い研究方向である。
ソースドメインとターゲットドメインにおける分類と三重項損失に基づく計量学習を最適化する2分岐アーキテクチャを利用するフレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-20T14:54:42Z) - Mutual Mean-Teaching: Pseudo Label Refinery for Unsupervised Domain
Adaptation on Person Re-identification [56.97651712118167]
人物再識別(re-ID)は、異なるカメラで同一人物の画像を特定することを目的としている。
異なるデータセット間のドメインの多様性は、あるデータセットでトレーニングされたre-IDモデルを別のデータセットに適応させる上で、明らかな課題となる。
教師なしフレームワークであるMutual Mean-Teaching(MMT)を提案し、オフラインで改良されたハードな擬似ラベルとオンラインで改良されたソフトな擬似ラベルを用いて、ターゲットドメインからより良い特徴を学習する。
論文 参考訳（メタデータ） (2020-01-06T12:42:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。