論文の概要: Distill and Fine-tune: Effective Adaptation from a Black-box Source Model

• arxiv url: http://arxiv.org/abs/2104.01539v1
• Date: Sun, 4 Apr 2021 05:29:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:50:14.576163
• Title: Distill and Fine-tune: Effective Adaptation from a Black-box Source Model
• Title（参考訳）: 希薄・微細構造:ブラックボックス音源モデルからの効果的な適応
• Authors: Jian Liang and Dapeng Hu and Ran He and Jiashi Feng
• Abstract要約: Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 138.12678159620248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To alleviate the burden of labeling, unsupervised domain adaptation (UDA) aims to transfer knowledge in previous related labeled datasets (source) to a new unlabeled dataset (target). Despite impressive progress, prior methods always need to access the raw source data and develop data-dependent alignment approaches to recognize the target samples in a transductive learning manner, which may raise privacy concerns from source individuals. Several recent studies resort to an alternative solution by exploiting the well-trained white-box model instead of the raw data from the source domain, however, it may leak the raw data through generative adversarial training. This paper studies a practical and interesting setting for UDA, where only a black-box source model (i.e., only network predictions are available) is provided during adaptation in the target domain. Besides, different neural networks are even allowed to be employed for different domains. For this new problem, we propose a novel two-step adaptation framework called Distill and Fine-tune (Dis-tune). Specifically, Dis-tune first structurally distills the knowledge from the source model to a customized target model, then unsupervisedly fine-tunes the distilled model to fit the target domain. To verify the effectiveness, we consider two UDA scenarios (\ie, closed-set and partial-set), and discover that Dis-tune achieves highly competitive performance to state-of-the-art approaches.
• Abstract（参考訳）: ラベル付けの負担を軽減するため、教師なしドメイン適応(UDA)は、以前のラベル付きデータセット(ソース)の知識を新しいラベル付きデータセット(ターゲット)に転送することを目的としている。 印象的な進歩にもかかわらず、以前の方法は、常にソースデータにアクセスし、ターゲットサンプルをトランスダクティブな学習方法で認識するためのデータ依存のアライメントアプローチを開発する必要がある。 近年のいくつかの研究では、ソースドメインの生データの代わりに、よく訓練されたホワイトボックスモデルを活用することで、代替のソリューションを採用している。 本稿では,対象領域への適応時にブラックボックスソースモデル(ネットワーク予測のみ利用可能)のみを提供する,UDAの実用的で興味深い設定について検討する。 さらに、異なるニューラルネットワークを異なるドメインで使用することも可能である。 本稿では,新しい2段階適応フレームワークであるDistill and Fine-tuneを提案する。 具体的には、dis-tuneはまず、ソースモデルからカスタマイズされたターゲットモデルへの知識を構造的に蒸留し、その後、ターゲットドメインに適合するように蒸留モデルを教師なしに微調整する。 有効性を検証するために,2つの UDA シナリオ (\ie, closed-set, partial-set) を検討した。

関連論文リスト

• Robust Source-Free Domain Adaptation for Fundus Image Segmentation [3.585032903685044]
  Unlabelled Domain Adaptation (UDA)は、ラベル付きデータから学習した知識を、未ラベルデータのみを使用してターゲットドメインに転送する学習技術である。 本研究では,ロバストドメイン適応のための2段階トレーニングステージを提案する。 本稿では,ラベルのないターゲットデータを有効利用して擬似ラベルと擬似境界を生成する,ロバストな擬似ラベルと擬似境界(PLPB)手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T14:25:18Z)
• Curriculum Guided Domain Adaptation in the Dark [0.0]
  ダークのドメイン適応は、ソースデータやソースモデルパラメータにアクセスせずに、ブラックボックスのソーストレーニングされたモデルをラベルなしのターゲットドメインに適応することを目的としている。 本稿では,対象モデルを段階的に学習するためのカリキュラム指導型適応手法であるCABBについて述べる。 本手法は,二分岐ネットワークの協調学習を利用して,確認バイアスによる誤差の蓄積を抑制する。
  論文  参考訳（メタデータ） (2023-08-02T05:47:56Z)
• RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation [80.03883315743715]
  ソースのないドメイン適応は、ソースデータを公開することなく、ソース訓練されたモデルをターゲットドメインに転送する。 このパラダイムは、ソースモデルに対する敵対的な攻撃のため、データ漏洩のリスクがある。 そこで我々は,入力レベルとネットワークレベルの両方の正規化からブラックボックスドメインを適応させる新しい手法であるRAIN(RegulArization on Input and Network)を提案する。
  論文  参考訳（メタデータ） (2022-08-22T18:18:47Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Unsupervised Multi-source Domain Adaptation Without Access to Source Data [58.551861130011886]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。 本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-05T10:45:12Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。