論文の概要: P{\O}DA: Prompt-driven Zero-shot Domain Adaptation

• arxiv url: http://arxiv.org/abs/2212.03241v3
• Date: Sat, 19 Aug 2023 10:31:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 02:17:55.862228
• Title: P{\O}DA: Prompt-driven Zero-shot Domain Adaptation
• Title（参考訳）: P{\O}DA: プロンプト駆動ゼロショットドメイン適応
• Authors: Mohammad Fahes, Tuan-Hung Vu, Andrei Bursuc, Patrick P\'erez, Raoul de Charette
• Abstract要約: 我々は,対象領域の自然言語,すなわちプロンプトの一般的な記述のみを用いて,ソースドメイン上で訓練されたモデルを適用する。 本稿では,これらのプロンプト駆動による拡張が,セマンティックセグメンテーションのためのゼロショットドメイン適応の実行に有効であることを示す。
• 参考スコア（独自算出の注目度）: 27.524962843495366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adaptation has been vastly investigated in computer vision but still requires access to target images at train time, which might be intractable in some uncommon conditions. In this paper, we propose the task of `Prompt-driven Zero-shot Domain Adaptation', where we adapt a model trained on a source domain using only a general description in natural language of the target domain, i.e., a prompt. First, we leverage a pretrained contrastive vision-language model (CLIP) to optimize affine transformations of source features, steering them towards the target text embedding while preserving their content and semantics. To achieve this, we propose Prompt-driven Instance Normalization (PIN). Second, we show that these prompt-driven augmentations can be used to perform zero-shot domain adaptation for semantic segmentation. Experiments demonstrate that our method significantly outperforms CLIP-based style transfer baselines on several datasets for the downstream task at hand, even surpassing one-shot unsupervised domain adaptation. A similar boost is observed on object detection and image classification. The code is available at https://github.com/astra-vision/PODA .
• Abstract（参考訳）: ドメイン適応はコンピュータビジョンにおいて大いに研究されてきたが、それでも列車の時間にターゲット画像にアクセスする必要がある。 本稿では,対象ドメインの自然言語における一般的な記述,すなわちプロンプトを用いて,ソースドメインでトレーニングされたモデルを適応させる,'prompt-driven zero-shot domain adaptation'というタスクを提案する。 まず、訓練済みのコントラッシブ・ビジョン言語モデル(CLIP)を用いて、ソース機能のアフィン変換を最適化し、コンテンツを保存しながら、ターゲットテキストの埋め込みに向けて操る。 そこで我々は,PIN(Prompt-driven Instance Normalization)を提案する。 第2に,これらのプロンプト駆動拡張により,意味セグメンテーションのためのゼロショット領域適応を行うことができることを示す。 実験により,本手法は,下流タスクの複数のデータセット上で,一発の教師なしドメイン適応を超越して,CLIPベースのスタイル転送ベースラインを著しく上回ることを示した。 オブジェクト検出と画像分類でも同様な増加が観察される。 コードはhttps://github.com/astra-vision/podaで入手できる。

関連論文リスト

• In the Era of Prompt Learning with Vision-Language Models [1.060608983034705]
  ドメイン一般化のためのドメインに依存しない新しい学習戦略であるtextscStyLIP を紹介する。 StyLIPは、スタイルプロジェクタを使用してドメイン固有のプロンプトトークンを学習することで、CLIPsビジョンエンコーダの視覚スタイルとコンテンツを切り離す。 また,CLIPの凍結視覚バックボーンを利用した非教師なし領域適応(DA)のためのAD-CLIPを提案する。
  論文  参考訳（メタデータ） (2024-11-07T17:31:21Z)
• Domain Adaptation with a Single Vision-Language Embedding [45.93202559299953]
  本稿では,完全なターゲットデータではなく,単一のVision-Language (VL)遅延埋め込みに依存する,ドメイン適応のための新しいフレームワークを提案する。 これらのマイニングスタイルは、ゼロショット(ターゲットフリー)とワンショットアン教師なしドメイン適応に使用できることを示す。
  論文  参考訳（メタデータ） (2024-10-28T17:59:53Z)
• Phrase Grounding-based Style Transfer for Single-Domain Generalized Object Detection [109.58348694132091]
  単一ドメインの一般化オブジェクト検出は、複数の未確認対象ドメインに対するモデルの一般化性を高めることを目的としている。 これは、ターゲットのドメインデータをトレーニングに組み込むことなく、ドメインシフトに対処するモデルを必要とするため、実用的だが難しいタスクである。 そこで我々は,課題に対する新しい文節接頭辞に基づくスタイル伝達手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T10:48:43Z)
• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• Learning Domain Invariant Prompt for Vision-Language Models [31.581652862478965]
  本稿では,メタプロンプト(MetaPrompt)と呼ばれる未確認領域に一般化可能な,固有領域不変プロンプトを直接生成する新しいプロンプト学習パラダイムを提案する。 我々の手法は既存の手法より一貫して大幅に優れています。
  論文  参考訳（メタデータ） (2022-12-08T11:23:24Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency [93.89773386634717]
  ビジュアルドメイン適応は、異なるソースドメインで利用可能なラベルを使用して、ターゲットのビジュアルドメインからイメージを分類する学習を含む。 いくつかの目標ラベルが存在する場合、(回転予測による)自己スーパービジョンや整合正則化といった単純な手法が、適切な目標分類器を学習するための対角アライメントなしで有効であることを示す。 我々の事前学習と一貫性(PAC)アプローチは、この半教師付きドメイン適応タスクにおいて、複数のデータセットにまたがる複数の対向的なドメインアライメント手法を超越して、技術精度を達成することができる。
  論文  参考訳（メタデータ） (2021-01-29T18:40:17Z)
• Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation [169.82760468633236]
  本稿では,ソースとターゲットの画素ペア間の画素レベルサイクルの関連性を構築することを提案する。 我々の手法は1段階のエンドツーエンドで訓練でき、追加のパラメータは導入しない。
  論文  参考訳（メタデータ） (2020-10-31T00:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。