論文の概要: In the Era of Prompt Learning with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2411.04892v1
• Date: Thu, 07 Nov 2024 17:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:30.258452
• Title: In the Era of Prompt Learning with Vision-Language Models
• Title（参考訳）: 視覚言語モデルを用いたプロンプト学習の時代
• Authors: Ankit Jha,
• Abstract要約: ドメイン一般化のためのドメインに依存しない新しい学習戦略であるtextscStyLIP を紹介する。 StyLIPは、スタイルプロジェクタを使用してドメイン固有のプロンプトトークンを学習することで、CLIPsビジョンエンコーダの視覚スタイルとコンテンツを切り離す。 また,CLIPの凍結視覚バックボーンを利用した非教師なし領域適応(DA)のためのAD-CLIPを提案する。
• 参考スコア（独自算出の注目度）: 1.060608983034705
• License:
• Abstract: Large-scale foundation models like CLIP have shown strong zero-shot generalization but struggle with domain shifts, limiting their adaptability. In our work, we introduce \textsc{StyLIP}, a novel domain-agnostic prompt learning strategy for Domain Generalization (DG). StyLIP disentangles visual style and content in CLIP`s vision encoder by using style projectors to learn domain-specific prompt tokens and combining them with content features. Trained contrastively, this approach enables seamless adaptation across domains, outperforming state-of-the-art methods on multiple DG benchmarks. Additionally, we propose AD-CLIP for unsupervised domain adaptation (DA), leveraging CLIP`s frozen vision backbone to learn domain-invariant prompts through image style and content features. By aligning domains in embedding space with entropy minimization, AD-CLIP effectively handles domain shifts, even when only target domain samples are available. Lastly, we outline future work on class discovery using prompt learning for semantic segmentation in remote sensing, focusing on identifying novel or rare classes in unstructured environments. This paves the way for more adaptive and generalizable models in complex, real-world scenarios.
• Abstract（参考訳）: CLIPのような大規模ファウンデーションモデルは、ゼロショットの強い一般化を示しているが、ドメインシフトに苦慮し、適応性を制限している。 本稿では,ドメイン・ジェネリゼーション(DG)のためのドメインに依存しない新しい学習戦略である \textsc{StyLIP} を紹介する。 StyLIPは、スタイルプロジェクタを使用してドメイン固有のプロンプトトークンを学習し、コンテンツ機能と組み合わせることで、CLIPのビジョンエンコーダの視覚スタイルとコンテンツを切り離す。 対照的に、このアプローチはドメイン間のシームレスな適応を可能にし、複数のDGベンチマーク上で最先端の手法より優れている。 さらに,教師なし領域適応(DA)のためのAD-CLIPを提案し,CLIPの凍結ビジョンバックボーンを利用して,画像スタイルやコンテンツ機能を通じてドメイン不変プロンプトを学習する。 埋め込み空間内のドメインをエントロピーの最小化に合わせることで、AD-CLIPはターゲットのドメインサンプルのみが利用可能であっても、ドメインシフトを効果的に処理する。 最後に,リモートセンシングにおけるセマンティックセグメンテーションの素早い学習によるクラス発見の今後の課題について概説し,非構造化環境における新しいクラスや稀なクラスを特定することに焦点を当てた。 これにより、複雑な実世界のシナリオにおいて、より適応的で一般化可能なモデルを実現することができる。

関連論文リスト

• StylePrompter: Enhancing Domain Generalization with Test-Time Style Priors [39.695604434738186]
  実世界のアプリケーションでは、推論段階でのサンプル分布は、トレーニング段階でのものとしばしば異なる。 本稿では,訓練されたモデルを動的に適応させるために,言語モダリティのスタイルプロンプトを紹介する。 特に,現在の画像のスタイル情報をトークン埋め込み空間に埋め込むように,スタイルプロンサを訓練する。 スタイルトークン埋め込み空間と手作りスタイル正規化のオープンスペース分割により、トレーニング済みのスタイルプロンサが未知のドメインからのデータを効率的に処理できるようになる。
  論文  参考訳（メタデータ） (2024-08-17T08:35:43Z)
• CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing [66.6712018832575]
  ドメイン一般化 (DG) ベースの Face Anti-Spoofing (FAS) は、目に見えないドメインにおけるモデルの性能を改善することを目的としている。 私たちはCLIPのような大規模VLMを利用し、テキスト機能を利用して分類器の重みを動的に調整し、一般化可能な視覚的特徴を探索する。
  論文  参考訳（メタデータ） (2024-03-21T11:58:50Z)
• Phrase Grounding-based Style Transfer for Single-Domain Generalized Object Detection [109.58348694132091]
  単一ドメインの一般化オブジェクト検出は、複数の未確認対象ドメインに対するモデルの一般化性を高めることを目的としている。 これは、ターゲットのドメインデータをトレーニングに組み込むことなく、ドメインシフトに対処するモデルを必要とするため、実用的だが難しいタスクである。 そこで我々は,課題に対する新しい文節接頭辞に基づくスタイル伝達手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T10:48:43Z)
• HCVP: Leveraging Hierarchical Contrastive Visual Prompt for Domain Generalization [69.33162366130887]
  ドメイン一般化(DG)は、不変の機能を学ぶことによって、目に見えないシナリオに優れた機械学習モデルを作成するための取り組みである。 モデルにドメインレベルとタスク固有の特性を補足する新しい手法を提案する。 このアプローチは、特定の特徴から不変な特徴をより効果的に分離し、一般化を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-01-18T04:23:21Z)
• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• AD-CLIP: Adapting Domains in Prompt Space Using CLIP [11.836764044083257]
  ドメインに依存しないCLIPのプロンプト学習戦略であるtextscAD-CLIPを導入する。 我々のプロンプトは、画像スタイルとコンテンツの特徴を同時に学習することで、ドメイン不変でクラス一般化できるように設計されている。 3つのベンチマークDAデータセットに対する実験により,既存の文献と比較して,textscAD-CLIPの有効性が示された。
  論文  参考訳（メタデータ） (2023-08-10T15:58:28Z)
• StyLIP: Multi-Scale Style-Conditioned Prompt Learning for CLIP-based Domain Generalization [26.08922351077744]
  StyLIPは、ドメイン間のCLIPの分類性能を高める、ドメインの一般化のための新しいアプローチである。 提案手法は,CLIPの事前学習された視覚エンコーダに埋め込まれた視覚的スタイルとコンテンツ情報を切り離すことを目的とした,ドメインに依存しないプロンプト学習戦略に焦点をあてる。
  論文  参考訳（メタデータ） (2023-02-18T07:36:16Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation [102.42638795864178]
  セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。 対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。 その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。 モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
  論文  参考訳（メタデータ） (2020-12-15T13:21:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。