論文の概要: Model Adaptation: Historical Contrastive Learning for Unsupervised Domain Adaptation without Source Data

• arxiv url: http://arxiv.org/abs/2110.03374v1
• Date: Thu, 7 Oct 2021 12:13:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:41:44.161782
• Title: Model Adaptation: Historical Contrastive Learning for Unsupervised Domain Adaptation without Source Data
• Title（参考訳）: モデル適応:ソースデータのない教師なしドメイン適応のための歴史的コントラスト学習
• Authors: Jiaxing Huang, Dayan Guan, Aoran Xiao, Shijian Lu
• Abstract要約: 教師なしドメイン適応は、ラベル付きソースドメインとラベルなしターゲットドメインをソースデータにアクセスすることなく調整することを目的としている。 本手法は,UMAにおける情報源データの欠如を補うために,歴史的情報源仮説を利用した革新的な歴史コントラスト学習(HCL)手法を設計する。 HCLは様々な視覚的タスクに対して一貫して最先端のメソッドを上回り補完する。
• 参考スコア（独自算出の注目度）: 32.77436219094282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised domain adaptation aims to align a labeled source domain and an unlabeled target domain, but it requires to access the source data which often raises concerns in data privacy, data portability and data transmission efficiency. We study unsupervised model adaptation (UMA), or called Unsupervised Domain Adaptation without Source Data, an alternative setting that aims to adapt source-trained models towards target distributions without accessing source data. To this end, we design an innovative historical contrastive learning (HCL) technique that exploits historical source hypothesis to make up for the absence of source data in UMA. HCL addresses the UMA challenge from two perspectives. First, it introduces historical contrastive instance discrimination (HCID) that learns from target samples by contrasting their embeddings which are generated by the currently adapted model and the historical models. With the source-trained and earlier-epoch models as the historical models, HCID encourages UMA to learn instance-discriminative target representations while preserving the source hypothesis. Second, it introduces historical contrastive category discrimination (HCCD) that pseudo-labels target samples to learn category-discriminative target representations. Instead of globally thresholding pseudo labels, HCCD re-weights pseudo labels according to their prediction consistency across the current and historical models. Extensive experiments show that HCL outperforms and complements state-of-the-art methods consistently across a variety of visual tasks (e.g., segmentation, classification and detection) and setups (e.g., close-set, open-set and partial adaptation).
• Abstract（参考訳）: 教師なしのドメイン適応は、ラベル付きソースドメインとラベル付きターゲットドメインの整列を目的としているが、データプライバシ、データポータビリティ、データ転送効率の懸念を引き起こすことが多いソースデータにアクセスする必要がある。 非教師なしモデル適応(unsupervised model adaptation,uma)またはソースデータのない非教師なしドメイン適応(unsupervised domain adapt without source data)と呼ばれる、ソースデータにアクセスせずにソース訓練されたモデルをターゲットディストリビューションに適応させるための代替設定を研究した。 そこで本研究では,歴史ソース仮説を活用し,umaにおけるソースデータの欠如を補う,革新的な歴史コントラスト学習(hcl)手法を考案する。 HCLは2つの観点からUMAの課題に対処する。 まず,現在適応しているモデルと歴史モデルによって生成された埋め込みとを対比して,対象サンプルから学習する履歴コントラストインスタンス識別(hcid)を導入する。 HCIDは、歴史モデルとしてソーストレーニングと初期のエポックモデルを用いて、ソース仮説を保存しながらインスタンス識別対象表現を学習するようUMAに促す。 第2に,疑似ラベルがサンプルを対象とし,カテゴリー識別対象表現を学習する歴史コントラストカテゴリ識別(hccd)を導入する。 HCCDは擬似ラベルを世界規模で閾値付けする代わりに、現在のモデルと歴史的モデルの間で予測一貫性に従って擬似ラベルを再重み付けする。 広範な実験により、hclは様々なビジュアルタスク(セグメンテーション、分類、検出など)とセットアップ(クローズセット、オープンセット、部分適応など)において、最先端の手法を一貫して超越し補完することが示された。

関連論文リスト

• Uncertainty-guided Open-Set Source-Free Unsupervised Domain Adaptation with Target-private Class Segregation [22.474866164542302]
  UDAアプローチはソースとターゲットドメインが同じラベル空間を共有していると一般的に仮定する。 本稿では、SF-OSDA(Source-Free Open-set Domain Adaptation)設定の課題について考察する。 本稿では,サンプルを複数の未知のクラスに分離することで,ターゲット・プライベートカテゴリの粒度を利用したSF-OSDAの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T13:52:00Z)
• Continual Source-Free Unsupervised Domain Adaptation [37.060694803551534]
  既存のソースフリーのUnsupervised Domain Adaptationアプローチは破滅的な忘れを見せる。 本稿では,SuDAの継続的な学習環境における課題に対応するための連続的なSUDA(C-SUDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-14T20:11:05Z)
• A Prototype-Oriented Clustering for Domain Shift with Source Privacy [66.67700676888629]
  本稿では,PCD(Prototype-oriented Clustering with Distillation)を導入し,既存の手法の性能と適用性を向上させる。 PCDはまず、プロトタイプとデータの分布を整列することで、ソースクラスタリングモデルを構築する。 その後、ソースモデルが提供するクラスタラベルを通じてターゲットモデルに知識を蒸留し、同時にターゲットデータをクラスタ化する。
  論文  参考訳（メタデータ） (2023-02-08T00:15:35Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Unsupervised Adaptation of Semantic Segmentation Models without Source Data [14.66682099621276]
  意味的セグメンテーションのためのソースデータにアクセスすることなく、ソースモデルの教師なしドメイン適応という新しい問題を考察する。 本稿では,ソースモデルから知識を抽出する自己学習手法を提案する。 我々のフレームワークは、ターゲットデータに直接ソースモデルを適用した場合と比較して、大幅なパフォーマンス向上を実現できます。
  論文  参考訳（メタデータ） (2021-12-04T15:13:41Z)
• Distill and Fine-tune: Effective Adaptation from a Black-box Source Model [138.12678159620248]
  Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-04T05:29:05Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Open-Set Hypothesis Transfer with Semantic Consistency [99.83813484934177]
  本稿では,対象データの変換における意味的一貫性に着目した手法を提案する。 本モデルはまず,自信ある予測を発見し,擬似ラベルを用いた分類を行う。 その結果、ラベルなしデータは、ソースクラスまたは未知のクラスに一致した識別クラスに分類される。
  論文  参考訳（メタデータ） (2020-10-01T10:44:31Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。