論文の概要: Source-Free Domain Adaptation Guided by Vision and Vision-Language Pre-Training

• arxiv url: http://arxiv.org/abs/2405.02954v2
• Date: Wed, 21 Aug 2024 11:09:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 22:25:29.085740
• Title: Source-Free Domain Adaptation Guided by Vision and Vision-Language Pre-Training
• Title（参考訳）: ヴィジュアルとヴィジュアルランゲージによるソースフリードメイン適応
• Authors: Wenyu Zhang, Li Shen, Chuan-Sheng Foo,
• Abstract要約: ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、関連するがラベル付けされていないターゲットドメインに適応させることを目的としている。 従来のSFDAパイプラインでは、ソースモデルを初期化するために、大量のデータ(イメージネットなど)を事前訓練した特徴抽出器が使用される。 トレーニング済みネットワークを対象適応プロセスに組み込むための統合フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 23.56208527227504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Source-free domain adaptation (SFDA) aims to adapt a source model trained on a fully-labeled source domain to a related but unlabeled target domain. While the source model is a key avenue for acquiring target pseudolabels, the generated pseudolabels may exhibit source bias. In the conventional SFDA pipeline, a large data (e.g. ImageNet) pre-trained feature extractor is used to initialize the source model at the start of source training, and subsequently discarded. Despite having diverse features important for generalization, the pre-trained feature extractor can overfit to the source data distribution during source training and forget relevant target domain knowledge. Rather than discarding this valuable knowledge, we introduce an integrated framework to incorporate pre-trained networks into the target adaptation process. The proposed framework is flexible and allows us to plug modern pre-trained networks into the adaptation process to leverage their stronger representation learning capabilities. For adaptation, we propose the Co-learn algorithm to improve target pseudolabel quality collaboratively through the source model and a pre-trained feature extractor. Building on the recent success of the vision-language model CLIP in zero-shot image recognition, we present an extension Co-learn++ to further incorporate CLIP's zero-shot classification decisions. We evaluate on 4 benchmark datasets and include more challenging scenarios such as open-set, partial-set and open-partial SFDA. Experimental results demonstrate that our proposed strategy improves adaptation performance and can be successfully integrated with existing SFDA methods.
• Abstract（参考訳）: ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、関連するがラベル付けされていないターゲットドメインに適応させることを目的としている。 ソースモデルは、ターゲットの擬似ラベルを取得するための重要な手段であるが、生成された擬似ラベルは、ソースバイアスを示す可能性がある。 従来のSFDAパイプラインでは、ソーストレーニング開始時にソースモデルを初期化するために、大規模なデータ(eg ImageNet)事前訓練された特徴抽出器が使用され、その後破棄される。 一般化に重要な多様な特徴があるにもかかわらず、事前訓練された特徴抽出器は、ソーストレーニング中にソースデータ分布に過度に適合し、関連する対象ドメイン知識を忘れることができる。 この貴重な知識を捨てるのではなく、トレーニング済みネットワークを対象適応プロセスに組み込む統合フレームワークを導入する。 提案するフレームワークは柔軟で,適応プロセスに最新の事前学習ネットワークを組み込むことで,より強力な表現学習能力を活用できる。 適応のために、ソースモデルと事前学習した特徴抽出器を介して、ターゲットの擬似ラベル品質を協調的に改善するコラーンアルゴリズムを提案する。 ゼロショット画像認識におけるビジョン言語モデルCLIPの最近の成功に基づいて、CLIPのゼロショット分類決定をさらに取り入れる拡張Co-learn++を提案する。 4つのベンチマークデータセットを評価し、オープンセット、部分セット、オープンパーティルSFDAのようなより難しいシナリオを含む。 実験の結果,提案手法は適応性能を向上し,既存のSFDA法とうまく統合できることが示唆された。

関連論文リスト

• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model [3.1265626879839923]
  実際には、トレーニングデータとテストデータの間にドメインシフトが発生する可能性があり、トレーニング済みのソースモデルをターゲットドメインに調整するためには、ドメイン適応(DA)が必要である。 UniDAは、ソースとターゲットドメインの間の追加のカテゴリ(ラベル)シフトの可能性に対処するために注目を集めている。 ガウス混合モデル(GMM)を用いて特徴空間における既知のクラス分布を連続的にキャプチャする新しい手法を提案する。 このアプローチは、DomainNetおよびOffice-Homeデータセットに関するすべての実験において、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-19T11:13:31Z)
• Robust Source-Free Domain Adaptation for Fundus Image Segmentation [3.585032903685044]
  Unlabelled Domain Adaptation (UDA)は、ラベル付きデータから学習した知識を、未ラベルデータのみを使用してターゲットドメインに転送する学習技術である。 本研究では,ロバストドメイン適応のための2段階トレーニングステージを提案する。 本稿では,ラベルのないターゲットデータを有効利用して擬似ラベルと擬似境界を生成する,ロバストな擬似ラベルと擬似境界(PLPB)手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T14:25:18Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Rethinking the Role of Pre-Trained Networks in Source-Free Domain Adaptation [26.481422574715126]
  ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、ラベル付けされていないターゲットドメインに適応させることを目的としている。 大規模データ事前トレーニングネットワークは、ソーストレーニング中にソースモデルを初期化するために使用され、その後破棄される。 本稿では,事前学習されたネットワークを対象適応プロセスに統合し,一般化に重要な特徴を多様化することを提案する。
  論文  参考訳（メタデータ） (2022-12-15T02:25:22Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)
• Source-Free Domain Adaptation for Semantic Segmentation [11.722728148523366]
  Unsupervised Domain Adaptation(UDA)は、セマンティックセグメンテーションのための畳み込みニューラルネットワークベースのアプローチがピクセルレベルの注釈付きデータに大きく依存するという課題に取り組むことができる。 そこで本稿では,十分に訓練されたソースモデルとラベルなしのターゲットドメインデータセットのみを適用可能な,意味セグメンテーションのためのソースフリーなドメイン適応フレームワークsfdaを提案する。
  論文  参考訳（メタデータ） (2021-03-30T14:14:29Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Universal Source-Free Domain Adaptation [57.37520645827318]
  ドメイン適応のための新しい2段階学習プロセスを提案する。 Procurementの段階では、今後のカテゴリギャップやドメインシフトに関する事前知識を前提とせず、将来的なソースフリーデプロイメントのためのモデルの提供を目標としています。 Deploymentの段階では、幅広いカテゴリギャップをまたいで動作可能な統一適応アルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2020-04-09T07:26:20Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。