論文の概要: Divide to Adapt: Mitigating Confirmation Bias for Domain Adaptation of Black-Box Predictors

• arxiv url: http://arxiv.org/abs/2205.14467v1
• Date: Sat, 28 May 2022 16:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:45:24.760853
• Title: Divide to Adapt: Mitigating Confirmation Bias for Domain Adaptation of Black-Box Predictors
• Title（参考訳）: Divide to Adapt: Black-Box予測子のドメイン適応に対する確認バイアスの緩和
• Authors: Jianfei Yang, Xiangyu Peng, Kai Wang, Zheng Zhu, Jiashi Feng, Lihua Xie, Yang You
• Abstract要約: ドメイン適応(Domain Adaptation of Black-box Predictor、DABP)は、ソースドメインでトレーニングされたブラックボックス予測器によって管理されるラベルなしのターゲットドメイン上のモデルを学習することを目的としている。 ソースドメインデータと予測パラメータの両方にアクセスする必要はないため、標準ドメイン適応におけるデータのプライバシとポータビリティの問題に対処する。 本稿では,知識蒸留と雑音ラベル学習を一貫した枠組みに組み込む新しい手法BETAを提案する。
• 参考スコア（独自算出の注目度）: 94.78389703894042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain Adaptation of Black-box Predictors (DABP) aims to learn a model on an unlabeled target domain supervised by a black-box predictor trained on a source domain. It does not require access to both the source-domain data and the predictor parameters, thus addressing the data privacy and portability issues of standard domain adaptation. Existing DABP approaches mostly rely on model distillation from the black-box predictor, \emph{i.e.}, training the model with its noisy target-domain predictions, which however inevitably introduces the confirmation bias accumulated from the prediction noises. To mitigate such bias, we propose a new method, named BETA, to incorporate knowledge distillation and noisy label learning into one coherent framework. This is enabled by a new divide-to-adapt strategy. BETA divides the target domain into an easy-to-adapt subdomain with less noise and a hard-to-adapt subdomain. Then it deploys mutually-teaching twin networks to filter the predictor errors for each other and improve them progressively, from the easy to hard subdomains. As such, BETA effectively purifies the noisy labels and reduces error accumulation. We theoretically show that the target error of BETA is minimized by decreasing the noise ratio of the subdomains. Extensive experiments demonstrate BETA outperforms existing methods on all DABP benchmarks, and is even comparable with the standard domain adaptation methods that use the source-domain data.
• Abstract（参考訳）: black-box predictor(dabp)のドメイン適応は、ソースドメインでトレーニングされたblack-box predictorによって監視されたラベルなしのターゲットドメインでモデルを学ぶことを目的としている。 ソースドメインデータと予測パラメータの両方にアクセスする必要はないため、標準ドメイン適応におけるデータのプライバシとポータビリティの問題に対処する。 既存のdabpアプローチは、主にブラックボックス予測器 \emph{i.e.} からのモデル蒸留に依存しており、ノイズの多いターゲットドメイン予測でモデルを訓練しているが、予測ノイズから蓄積された確認バイアスは必然的に導入される。 このようなバイアスを軽減するため,知識蒸留と雑音ラベル学習を1つのコヒーレントな枠組みに組み込む新しい手法BETAを提案する。 これは新しい分割・適応戦略によって実現される。 BETAは、ターゲットドメインをノイズが少なく、適応が難しいサブドメインに分割する。 そして、相互に学習するツインネットワークをデプロイし、お互いの予測エラーをフィルタリングし、容易にハードなサブドメインから徐々に改善する。 このため、BETAはノイズラベルを効果的に浄化し、エラー蓄積を低減する。 理論的には、BETAの目標誤差はサブドメインの雑音比を小さくすることで最小化される。 広範な実験は、すべてのdabpベンチマークで既存のメソッドよりもベータの方が優れており、ソースドメインデータを使用する標準ドメイン適応メソッドと同等である。

関連論文リスト

• Curriculum Guided Domain Adaptation in the Dark [0.0]
  ダークのドメイン適応は、ソースデータやソースモデルパラメータにアクセスせずに、ブラックボックスのソーストレーニングされたモデルをラベルなしのターゲットドメインに適応することを目的としている。 本稿では,対象モデルを段階的に学習するためのカリキュラム指導型適応手法であるCABBについて述べる。 本手法は,二分岐ネットワークの協調学習を利用して,確認バイアスによる誤差の蓄積を抑制する。
  論文  参考訳（メタデータ） (2023-08-02T05:47:56Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Dual Moving Average Pseudo-Labeling for Source-Free Inductive Domain Adaptation [45.024029784248825]
  教師なしドメイン適応は、ソースからターゲットドメインに知識を適用することによって、ディープラーニングにおけるデータアノテーションへの依存を減らす。 プライバシと効率上の懸念に対して、ソースフリーなドメイン適応は、トレーニング済みのソースモデルをラベルなしのターゲットドメインに適応することにより、教師なしのドメイン適応を拡張します。 本稿では,DMAPL (Dual moving Average Pseudo-Labeling) という半教師付きファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T23:20:13Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation [142.31610972922067]
  この研究は、特にターゲットドメインのクラスラベルがソースドメインのサブセットである場合に、教師なしのドメイン適応問題に対処する。 本稿では,ドメイン逆境学習に基づく新しいドメイン適応手法 BA$3$US を提案し,BAA(Ba balanced Adversarial Alignment)とAUS(Adaptive Uncertainty Suppression)の2つの新しい手法を提案する。 複数のベンチマーク実験の結果、BA$3$USが部分的なドメイン適応タスクの最先端を超越していることが示されている。
  論文  参考訳（メタデータ） (2020-03-05T11:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。