論文の概要: Prototypical Distillation and Debiased Tuning for Black-box Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2412.20670v1
• Date: Mon, 30 Dec 2024 02:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:02:31.609950
• Title: Prototypical Distillation and Debiased Tuning for Black-box Unsupervised Domain Adaptation
• Title（参考訳）: ブラックボックス非教師付きドメイン適応のための原型蒸留と脱バイアス調整
• Authors: Jian Liang, Lijun Sheng, Hongmin Liu, Ran He,
• Abstract要約: 教師なしドメイン適応は、関連するラベルに富んだソースドメインからラベルのないターゲットドメインに知識を転送することを目的としている。 本稿では,ブラックボックスドメイン適応(Black-box domain adapt)と呼ばれる新しい設定を提案する。 我々は、$textbfPro$totypical $textbfD$istillationと$textbfD$ebiased tun$textbfing$という2段階のフレームワークを開発している。
• 参考スコア（独自算出の注目度）: 78.50990190076232
• License:
• Abstract: Unsupervised domain adaptation aims to transfer knowledge from a related, label-rich source domain to an unlabeled target domain, thereby circumventing the high costs associated with manual annotation. Recently, there has been growing interest in source-free domain adaptation, a paradigm in which only a pre-trained model, rather than the labeled source data, is provided to the target domain. Given the potential risk of source data leakage via model inversion attacks, this paper introduces a novel setting called black-box domain adaptation, where the source model is accessible only through an API that provides the predicted label along with the corresponding confidence value for each query. We develop a two-step framework named $\textbf{Pro}$totypical $\textbf{D}$istillation and $\textbf{D}$ebiased tun$\textbf{ing}$ ($\textbf{ProDDing}$). In the first step, ProDDing leverages both the raw predictions from the source model and prototypes derived from the target domain as teachers to distill a customized target model. In the second step, ProDDing keeps fine-tuning the distilled model by penalizing logits that are biased toward certain classes. Empirical results across multiple benchmarks demonstrate that ProDDing outperforms existing black-box domain adaptation methods. Moreover, in the case of hard-label black-box domain adaptation, where only predicted labels are available, ProDDing achieves significant improvements over these methods. Code will be available at \url{https://github.com/tim-learn/ProDDing/}.
• Abstract（参考訳）: 教師なしドメイン適応は、関連するラベルに富んだソースドメインからラベルなしのターゲットドメインに知識を転送することを目的としており、それによって手動アノテーションに関連する高コストを回避している。 近年,ラベル付きソースデータではなく,事前学習したモデルのみを対象ドメインに提供するパラダイムである,ソースフリーなドメイン適応への関心が高まっている。 モデルインバージョンアタックによるソースデータ漏洩の潜在的なリスクを考慮し、ブラックボックスドメインアダプションと呼ばれる新しい設定を導入し、各クエリに対して対応する信頼値とともに予測ラベルを提供するAPIを通じてのみソースモデルにアクセスできるようにする。 我々は、$\textbf{Pro}$totypeal $\textbf{D}$istillation and $\textbf{D}$ebiased tun$\textbf{ProDDing}$ $\textbf{ProDDing}$という2段階のフレームワークを開発する。 最初のステップでは、ProDDingは、ソースモデルからの生の予測と、ターゲットドメインから派生したプロトタイプの両方を教師として利用し、カスタマイズされたターゲットモデルを蒸留する。 2番目のステップでは、ProDDingは特定のクラスに偏ったロジットをペナル化することで蒸留モデルを微調整し続ける。 複数のベンチマークにおける実証的な結果から、ProDDingは既存のブラックボックスドメイン適応法より優れていることが示されている。 さらに、予測ラベルのみが利用可能であるハードラベルブラックボックスドメイン適応の場合、ProDDingはこれらの手法よりも大幅に改善されている。 コードは \url{https://github.com/tim-learn/ProDDing/} で入手できる。

関連論文リスト

• Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
  両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。 提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2022-10-04T15:20:01Z)
• Divide to Adapt: Mitigating Confirmation Bias for Domain Adaptation of Black-Box Predictors [94.78389703894042]
  ドメイン適応(Domain Adaptation of Black-box Predictor、DABP)は、ソースドメインでトレーニングされたブラックボックス予測器によって管理されるラベルなしのターゲットドメイン上のモデルを学習することを目的としている。 ソースドメインデータと予測パラメータの両方にアクセスする必要はないため、標準ドメイン適応におけるデータのプライバシとポータビリティの問題に対処する。 本稿では,知識蒸留と雑音ラベル学習を一貫した枠組みに組み込む新しい手法BETAを提案する。
  論文  参考訳（メタデータ） (2022-05-28T16:00:44Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• Distill and Fine-tune: Effective Adaptation from a Black-box Source Model [138.12678159620248]
  Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-04T05:29:05Z)
• Open-Set Hypothesis Transfer with Semantic Consistency [99.83813484934177]
  本稿では,対象データの変換における意味的一貫性に着目した手法を提案する。 本モデルはまず,自信ある予測を発見し,擬似ラベルを用いた分類を行う。 その結果、ラベルなしデータは、ソースクラスまたは未知のクラスに一致した識別クラスに分類される。
  論文  参考訳（メタデータ） (2020-10-01T10:44:31Z)
• Domain Adaptation without Source Data [20.64875162351594]
  センシティブな情報を含む可能性のあるソースデータへのアクセスを避けるために、ソースデータフリードメイン適応(SFDA)を導入します。 私たちのキーとなるアイデアは、ソースドメインから事前トレーニングされたモデルを活用し、ターゲットモデルを段階的に自己学習的に更新することです。 我々のPrDAは、ベンチマークデータセットにおける従来のドメイン適応手法よりも優れています。
  論文  参考訳（メタデータ） (2020-07-03T07:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。