論文の概要: CLIP the Divergence: Language-guided Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2407.01842v1
• Date: Mon, 1 Jul 2024 22:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 17:13:22.563378
• Title: CLIP the Divergence: Language-guided Unsupervised Domain Adaptation
• Title（参考訳）: CLIP the Divergence:Language-Guided Unsupervised Domain Adaptation
• Authors: Jinjing Zhu, Yucheng Chen, Lin Wang,
• Abstract要約: Unsupervised Domain Adaption (UDA) は、ラベル付きソースとラベルなしターゲットドメインの相違に対処するための一般的なソリューションとして登場した。 本稿では,CLIP-Div と呼ばれる新しい言語誘導アプローチを提案する。 我々の主要な技術的貢献は、2つの新しい言語誘導ドメイン分散測定損失である。
• 参考スコア（独自算出の注目度）: 9.195524787980409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised domain adaption (UDA) has emerged as a popular solution to tackle the divergence between the labeled source and unlabeled target domains. Recently, some research efforts have been made to leverage large vision-language models, such as CLIP, and then fine-tune or learn prompts from them for addressing the challenging UDA task. In this work, we shift the gear to a new direction by directly leveraging CLIP to measure the domain divergence and propose a novel language-guided approach for UDA, dubbed as CLIP-Div. Our key idea is to harness CLIP to 1) measure the domain divergence via the acquired domain-agnostic distribution and 2) calibrate the target pseudo labels with language guidance, to effectively reduce the domain gap and improve the UDA model's generalization capability. Specifically, our major technical contribution lies in the proposed two novel language-guided domain divergence measurement losses: absolute divergence and relative divergence. These loss terms furnish precise guidelines for aligning the distributions of the source and target domains with the domain-agnostic distribution derived from CLIP. Additionally, we propose a language-guided pseudo-labeling strategy for calibrating the target pseudo labels. Buttressed by it, we show that a further implementation for self-training can enhance the UDA model's generalization capability on the target domain. CLIP-Div surpasses state-of-the-art CNN-based methods by a substantial margin, achieving a performance boost of +10.3% on Office-Home, +1.5% on Office-31, +0.2% on VisDA-2017, and +24.3% on DomainNet, respectively.
• Abstract（参考訳）: Unsupervised Domain Adaption (UDA) は、ラベル付きソースとラベルなしターゲットドメインの相違に対処するための一般的なソリューションとして登場した。 近年、CLIPのような大規模な視覚言語モデルを活用するためにいくつかの研究が試みられ、挑戦的なUDAタスクに対処するための微調整やプロンプトを学習している。 本稿では、CLIPを直接活用してドメインの分散を計測し、CLIP-Divと呼ばれる新しい言語誘導アプローチを提案する。 私たちのキーとなるアイデアは、CLIPを活用できるようにすることです。 1)取得した領域に依存しない分布を介して領域のばらつきを測定する。 2) 対象の擬似ラベルを言語指導で校正し、ドメインギャップを効果的に減らし、UDAモデルの一般化能力を向上させる。 特に、我々の主要な技術的貢献は、2つの新しい言語誘導領域のばらつき測定損失、すなわち絶対的なばらつきと相対的なばらつきである。 これらの損失項は、ソースとターゲットドメインの分布をCLIPから派生したドメインに依存しない分布と整合させるための正確なガイドラインを提供する。 さらに,対象の擬似ラベルを校正するための言語誘導型擬似ラベル方式を提案する。 しかし, 自己学習のさらなる実装により, 対象領域における UDA モデルの一般化能力が向上することを示す。 CLIP-Divは最先端のCNNベースの手法をかなり上回り、Office-Homeでは+10.3%、Office-31では+1.5%、VisDA-2017では+0.2%、DomainNetでは+24.3%のパフォーマンス向上を達成した。

関連論文リスト

• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• AVATAR: Adversarial self-superVised domain Adaptation network for TARget domain [11.764601181046496]
  本稿では,未ラベル対象領域データの予測のための教師なし領域適応(UDA)手法を提案する。 本稿では,AVATAR(Adversarial Self-superVised Domain Adaptation Network for the TARget domain)アルゴリズムを提案する。 提案手法は,3つのUDAベンチマークにおいて,最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-04-28T20:31:56Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and Curriculum Learning [19.903568227077763]
  教師なしドメイン適応(UDA)は、完全にラベル付けされたソースドメインからのデータを活用することにより、ラベル付けされていないターゲットドメインの分類性能を向上させる。 ソフトな擬似ラベル戦略を用いてモデル予測の欠陥を大幅に低減するモデルに依存しない2段階学習フレームワークを提案する。 第2段階では,2つのドメインの損失間の重み付けを適応的に制御するカリキュラム学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-03T14:47:32Z)
• CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation [1.2691047660244335]
  Unsupervised Domain Adaptation (UDA) は、ラベル付きソース分布とラベル付きターゲット分布との整合を目標とし、ドメイン不変な予測モデルを得る。 半教師付きドメイン適応(CLDA)のためのコントラスト学習フレームワークを提案する。 CLDAは上記のすべてのデータセットに対して最先端の結果を達成する。
  論文  参考訳（メタデータ） (2021-06-30T20:23:19Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Your Classifier can Secretly Suffice Multi-Source Domain Adaptation [72.47706604261992]
  マルチソースドメイン適応(MSDA)は、複数のラベル付きソースドメインからラベルなしターゲットドメインへのタスク知識の転送を扱う。 ラベル管理下のドメインを暗黙的に整列させる深層モデルが観察されるMSDAに対して、異なる視点を提示する。
  論文  参考訳（メタデータ） (2021-03-20T12:44:13Z)
• Effective Label Propagation for Discriminative Semi-Supervised Domain Adaptation [76.41664929948607]
  半教師付き領域適応(SSDA)法は,大規模な画像分類タスクにおいて大きな可能性を示している。 本稿では、ドメイン間およびドメイン内セマンティック情報を効果的に伝達することにより、この問題に対処する新しい効果的な方法を提案する。 ソースコードと事前訓練されたモデルも間もなくリリースされる予定です。
  論文  参考訳（メタデータ） (2020-12-04T14:28:19Z)
• Learning Target Domain Specific Classifier for Partial Domain Adaptation [85.71584004185031]
  非教師付きドメイン適応(UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送する際の分散不一致を低減することを目的としている。 本稿では,ターゲットラベル空間をソースラベル空間に仮定する,より現実的なUDAシナリオに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-25T02:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。