論文の概要: Rethinking Domain Adaptation and Generalization in the Era of CLIP

• arxiv url: http://arxiv.org/abs/2407.15173v1
• Date: Sun, 21 Jul 2024 14:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 18:59:03.851845
• Title: Rethinking Domain Adaptation and Generalization in the Era of CLIP
• Title（参考訳）: CLIP時代におけるドメイン適応と一般化の再考
• Authors: Ruoyu Feng, Tao Yu, Xin Jin, Xiaoyuan Yu, Lei Xiao, Zhibo Chen,
• Abstract要約: 単純なドメインがCLIPのゼロショット認識を特定のドメインで促進することを示す。 また,CLIPを用いたゼロショット適応と擬似ラベルに基づく自己学習のためのベンチマークを作成する。 複数の未ラベル領域からCLIPのタスク一般化能力を改善することを提案する。
• 参考スコア（独自算出の注目度）: 27.12334798260904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent studies on domain adaptation, significant emphasis has been placed on the advancement of learning shared knowledge from a source domain to a target domain. Recently, the large vision-language pre-trained model, i.e., CLIP has shown strong ability on zero-shot recognition, and parameter efficient tuning can further improve its performance on specific tasks. This work demonstrates that a simple domain prior boosts CLIP's zero-shot recognition in a specific domain. Besides, CLIP's adaptation relies less on source domain data due to its diverse pre-training dataset. Furthermore, we create a benchmark for zero-shot adaptation and pseudo-labeling based self-training with CLIP. Last but not least, we propose to improve the task generalization ability of CLIP from multiple unlabeled domains, which is a more practical and unique scenario. We believe our findings motivate a rethinking of domain adaptation benchmarks and the associated role of related algorithms in the era of CLIP.
• Abstract（参考訳）: ドメイン適応に関する最近の研究では、ソースドメインからターゲットドメインへの共有知識の学習に重点が置かれている。 近年,大規模な視覚言語事前学習モデルであるCLIPは,ゼロショット認識に強い能力を示し,パラメータの効率的なチューニングにより,特定のタスクのパフォーマンスが向上している。 この研究は、単純なドメインが特定のドメインにおけるCLIPのゼロショット認識を促進することを実証している。 さらに、CLIPの適応は、さまざまな事前トレーニングデータセットのため、ソースドメインデータに依存しない。 さらに,CLIPを用いたゼロショット適応と擬似ラベルに基づく自己学習のためのベンチマークを作成する。 最後に、より実用的でユニークなシナリオである複数のラベルのないドメインからCLIPのタスク一般化能力を改善することを提案する。 この発見は,CLIP時代におけるドメイン適応ベンチマークの再考と関連するアルゴリズムの役割を動機としている。

関連論文リスト

• In the Era of Prompt Learning with Vision-Language Models [1.060608983034705]
  ドメイン一般化のためのドメインに依存しない新しい学習戦略であるtextscStyLIP を紹介する。 StyLIPは、スタイルプロジェクタを使用してドメイン固有のプロンプトトークンを学習することで、CLIPsビジョンエンコーダの視覚スタイルとコンテンツを切り離す。 また,CLIPの凍結視覚バックボーンを利用した非教師なし領域適応(DA)のためのAD-CLIPを提案する。
  論文  参考訳（メタデータ） (2024-11-07T17:31:21Z)
• Learning to Discover Knowledge: A Weakly-Supervised Partial Domain Adaptation Approach [20.899013563493202]
  ドメイン適応は、リッチアノテーションでソースドメインからの知識を活用することで、魅力的なパフォーマンスを示している。 特定の目標タスクに対して、関連するおよび高品質なソースドメインを収集するのは煩雑である。 本稿では、自己ペースト転送分類器学習(SP-TCL)と呼ばれる、単純で効果的なドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:54:07Z)
• More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs [40.54076184225558]
  大言語モデル(LLM)がドメイン固有のタスクに微調整された後に、一般的なタスクのパフォーマンスが低下する。 本稿では,一般能力統合(GCI)と呼ばれる,CFを越えたドメイン固有LLMの実適用に向けた課題について述べる。 GCIの目的は、新たに獲得した汎用能力を、新しいドメイン知識と共に保持するだけでなく、両方のスキルセットを結合的に調和して利用して、ドメイン固有のタスクのパフォーマンスを高めることである。
  論文  参考訳（メタデータ） (2024-05-28T05:00:12Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• MoP-CLIP: A Mixture of Prompt-Tuned CLIP Models for Domain Incremental Learning [12.737883740101438]
  本稿では,プロンプト調整型CLIPモデル(MoP-CLIP)を用いた新しいDIL手法を提案する。 トレーニング段階では、各ドメインの各クラスの特徴分布をモデル化し、個々のテキストと視覚的プロンプトを学習して、特定のドメインに適応させます。 学習した分布は、与えられたテストサンプルが既知のドメインに属しているかどうかを識別し、分類タスクの正しいプロンプトを選択する。
  論文  参考訳（メタデータ） (2023-07-11T18:17:50Z)
• Domain Adaptation from Scratch [24.612696638386623]
  我々は、NLPを機密ドメインに拡張するために欠かせない、新しい学習セットである「スクラッチからのドメイン適応」を提示する。 この設定では、トレーニングされたモデルがセンシティブなターゲットドメイン上でうまく動作するように、ソースドメインの集合からのデータを効率的にアノテートすることを目的としている。 本研究は、データ選択やドメイン適応アルゴリズムからアクティブな学習パラダイムまで、この挑戦的な設定に対するいくつかのアプローチを比較した。
  論文  参考訳（メタデータ） (2022-09-02T05:55:09Z)
• Deep face recognition with clustering based domain adaptation [57.29464116557734]
  そこで本研究では,ターゲットドメインとソースがクラスを共有しない顔認識タスクを対象とした,クラスタリングに基づく新しいドメイン適応手法を提案する。 本手法は,特徴領域をグローバルに整列させ,その一方で,対象クラスタを局所的に識別することで,識別対象特徴を効果的に学習する。
  論文  参考訳（メタデータ） (2022-05-27T12:29:11Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Meta-Learning for Domain Generalization in Semantic Parsing [124.32975734073949]
  セマンティック解析のためにゼロショットドメインをターゲットにしたメタラーニングフレームワークを使用する。 ゼロショット解析の仮想トレインと非結合領域からのテストセットをシミュレートするモデル非依存のトレーニングアルゴリズムを適用した。
  論文  参考訳（メタデータ） (2020-10-22T19:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。