論文の概要: Few-shot Fine-tuning is All You Need for Source-free Domain Adaptation

• arxiv url: http://arxiv.org/abs/2304.00792v2
• Date: Mon, 24 Apr 2023 13:23:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 20:31:39.719460
• Title: Few-shot Fine-tuning is All You Need for Source-free Domain Adaptation
• Title（参考訳）: ソース不要のドメイン適応に必要な微調整は少ない
• Authors: Suho Lee, Seungwon Seo, Jihyo Kim, Yejin Lee, Sangheum Hwang
• Abstract要約: 非教師なしドメイン適応(SFUDA)の非教師なしドメイン適応(UDA)に対する実用性について検討する。 SFUDAは、実世界のアプリケーションにおける実用性を制限する未ラベルのターゲットデータに依存していることを示す。 SFUDAの限界を回避するために,ラベル付きデータによる事前学習モデルの微調整を行うことが,実用的で信頼性の高い手法であることを示す。
• 参考スコア（独自算出の注目度）: 2.837894907597713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, source-free unsupervised domain adaptation (SFUDA) has emerged as a more practical and feasible approach compared to unsupervised domain adaptation (UDA) which assumes that labeled source data are always accessible. However, significant limitations associated with SFUDA approaches are often overlooked, which limits their practicality in real-world applications. These limitations include a lack of principled ways to determine optimal hyperparameters and performance degradation when the unlabeled target data fail to meet certain requirements such as a closed-set and identical label distribution to the source data. All these limitations stem from the fact that SFUDA entirely relies on unlabeled target data. We empirically demonstrate the limitations of existing SFUDA methods in real-world scenarios including out-of-distribution and label distribution shifts in target data, and verify that none of these methods can be safely applied to real-world settings. Based on our experimental results, we claim that fine-tuning a source pretrained model with a few labeled data (e.g., 1- or 3-shot) is a practical and reliable solution to circumvent the limitations of SFUDA. Contrary to common belief, we find that carefully fine-tuned models do not suffer from overfitting even when trained with only a few labeled data, and also show little change in performance due to sampling bias. Our experimental results on various domain adaptation benchmarks demonstrate that the few-shot fine-tuning approach performs comparatively under the standard SFUDA settings, and outperforms comparison methods under realistic scenarios. Our code is available at https://github.com/daintlab/fewshot-SFDA .
• Abstract（参考訳）: 近年、ラベル付きソースデータが常にアクセス可能であると仮定するアン教師なしドメイン適応(UDA)と比較して、ソースフリーなアン教師なしドメイン適応(SFUDA)が実用的で実現可能なアプローチとして出現している。 しかし、SFUDAアプローチに関連する重要な制限はしばしば見過ごされ、現実のアプリケーションにおける実用性を制限する。 これらの制限には、最適なハイパーパラメータを決定するための原則的な方法の欠如と、未ラベルのターゲットデータが、ソースデータに対するクローズドセットや同一ラベルの分布のような特定の要件を満たすことができない場合のパフォーマンス劣化が含まれる。 これらの制限はすべて、SFUDAが完全にラベルのないターゲットデータに依存しているという事実に由来する。 実世界のシナリオにおける既存のsfudaメソッドの限界を実証し、対象データへの分散やラベルの分散シフトを実証し、これらの方法が現実世界の設定に安全に適用できないことを検証した。 実験結果から,SFUDAの限界を回避するために,ラベル付きデータ(例:1-または3-shot)で事前訓練したソースモデルを微調整することが,実用的で信頼性の高いソリューションであると主張している。 一般的な信念とは対照的に、注意深い微調整モデルでは、ラベル付きデータのみをトレーニングしても過度な適合に悩まされず、サンプリングバイアスによるパフォーマンスの変化もほとんどない。 様々なドメイン適応ベンチマークにおける実験結果から, マイナショットの微調整手法は標準sfuda設定で比較し, 現実的なシナリオで比較手法を上回った。 私たちのコードはhttps://github.com/daintlab/fewshot-SFDAで利用可能です。

関連論文リスト

• Distribution Alignment for Fully Test-Time Adaptation with Dynamic Online Data Streams [19.921480334048756]
  TTA(Test-Time Adaptation)は、テストデータストリームの適応と推論を可能にする。 本稿では,TTAにおける新しい配電アライメント損失を提案する。 我々は、非i.d.シナリオにおける既存の手法を超越し、理想的なi.d.仮定の下で競争性能を維持する。
  論文  参考訳（メタデータ） (2024-07-16T19:33:23Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• SF-FSDA: Source-Free Few-Shot Domain Adaptive Object Detection with Efficient Labeled Data Factory [94.11898696478683]
  ドメイン適応オブジェクト検出は、ラベル付きソースドメインから学んだ知識を活用し、ラベルなしのターゲットドメインのパフォーマンスを改善することを目的としています。 本研究では,SF-FSDA という名称のソースフリーおよび少数ショット条件下で,より実用的で困難な領域適応型オブジェクト検出問題を提案し,検討する。
  論文  参考訳（メタデータ） (2023-06-07T12:34:55Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Source-Free Unsupervised Domain Adaptation with Norm and Shape Constraints for Medical Image Segmentation [0.12183405753834559]
  医用画像セグメンテーションのための非教師なし領域適応法(SFUDA)を提案する。 エントロピー最小化法に加えて、ターゲット領域における特徴ノルムを回避する損失関数を導入する。 提案手法は,すべてのデータセットにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-09-03T00:16:39Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Open-Set Hypothesis Transfer with Semantic Consistency [99.83813484934177]
  本稿では,対象データの変換における意味的一貫性に着目した手法を提案する。 本モデルはまず,自信ある予測を発見し,擬似ラベルを用いた分類を行う。 その結果、ラベルなしデータは、ソースクラスまたは未知のクラスに一致した識別クラスに分類される。
  論文  参考訳（メタデータ） (2020-10-01T10:44:31Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。