論文の概要: Zero-shot Generative Model Adaptation via Image-specific Prompt Learning

• arxiv url: http://arxiv.org/abs/2304.03119v1
• Date: Thu, 6 Apr 2023 14:48:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 14:02:30.434474
• Title: Zero-shot Generative Model Adaptation via Image-specific Prompt Learning
• Title（参考訳）: 画像固有プロンプト学習によるゼロショット生成モデル適応
• Authors: Jiayi Guo, Chaofei Wang, You Wu, Eric Zhang, Kai Wang, Xingqian Xu, Shiji Song, Humphrey Shi, Gao Huang
• Abstract要約: CLIP誘導画像合成は、トレーニング済みのソースドメインジェネレータを未確認のターゲットドメインに適応する上で、魅力的な性能を示している。 本稿では,各ソース領域の画像に対して,特定のプロンプトベクトルを学習する画像固有プロンプト学習(IPL)手法を提案する。 IPLは、合成画像の品質と多様性を効果的に改善し、モード崩壊を軽減する。
• 参考スコア（独自算出の注目度）: 41.344908073632986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, CLIP-guided image synthesis has shown appealing performance on adapting a pre-trained source-domain generator to an unseen target domain. It does not require any target-domain samples but only the textual domain labels. The training is highly efficient, e.g., a few minutes. However, existing methods still have some limitations in the quality of generated images and may suffer from the mode collapse issue. A key reason is that a fixed adaptation direction is applied for all cross-domain image pairs, which leads to identical supervision signals. To address this issue, we propose an Image-specific Prompt Learning (IPL) method, which learns specific prompt vectors for each source-domain image. This produces a more precise adaptation direction for every cross-domain image pair, endowing the target-domain generator with greatly enhanced flexibility. Qualitative and quantitative evaluations on various domains demonstrate that IPL effectively improves the quality and diversity of synthesized images and alleviates the mode collapse. Moreover, IPL is independent of the structure of the generative model, such as generative adversarial networks or diffusion models. Code is available at https://github.com/Picsart-AI-Research/IPL-Zero-Shot-Generative-Model-Adaptation.
• Abstract（参考訳）: 近年,クリップ誘導画像合成は,事前学習されたソースドメイン生成器を対象領域に適応させる上で魅力的な性能を示している。 ターゲットドメインのサンプルは必要ありませんが、テキストドメインラベルのみです。 訓練は、例えば数分で非常に効率的である。 しかし、既存の手法では生成画像の品質に制限があり、モード崩壊の問題に悩まされる可能性がある。 鍵となる理由は、すべてのクロスドメイン画像対に対して固定適応方向が適用され、同一の監視信号が導かれることである。 この問題に対処するために,各ソースドメイン画像に対して特定のプロンプトベクトルを学習するipl(image-specific prompt learning)法を提案する。 これにより、各クロスドメインイメージペアに対してより正確な適応方向が得られ、柔軟性が大幅に向上したターゲットドメインジェネレータが提供される。 様々な領域における質的および定量的評価により、IPLは合成画像の品質と多様性を効果的に改善し、モード崩壊を緩和することを示した。 さらに、IPLは生成的敵ネットワークや拡散モデルのような生成的モデルの構造とは独立である。 コードはhttps://github.com/Picsart-AI-Research/IPL-Zero-Shot-Generative-Model-Adaptationで公開されている。

関連論文リスト

• Diversified in-domain synthesis with efficient fine-tuning for few-shot classification [64.86872227580866]
  画像分類は,クラスごとのラベル付き例の小さなセットのみを用いて,画像分類器の学習を目的としている。 合成データを用いた数ショット学習における一般化問題に対処する新しいアプローチである DisEF を提案する。 提案手法を10種類のベンチマークで検証し,ベースラインを一貫して上回り,数ショット分類のための新しい最先端の手法を確立した。
  論文  参考訳（メタデータ） (2023-12-05T17:18:09Z)
• DynaGAN: Dynamic Few-shot Adaptation of GANs to Multiple Domains [26.95350186287616]
  複数のドメインへのドメイン適応は、いくつかのトレーニングイメージから複数のドメインにまたがる複雑なイメージ分布を学習することを目的としている。 複数のターゲットドメインに対する新規な数ショットドメイン適応法であるDynaGANを提案する。
  論文  参考訳（メタデータ） (2022-11-26T12:46:40Z)
• Towards Diverse and Faithful One-shot Adaption of Generative Adversarial Networks [54.80435295622583]
  ワンショット生成ドメイン適応は、訓練済みのジェネレータを1つの参照画像のみを使用して、新しいドメインに転送することを目的としている。 本稿では、多種多様な世代と忠実な適応のための新しい一発生成ドメイン適応法、すなわち、DiFaを提案する。
  論文  参考訳（メタデータ） (2022-07-18T16:29:41Z)
• DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic Segmentation [97.74059510314554]
  セグメンテーションのための教師なしドメイン適応(UDA)は、ラベル付きソースドメインで訓練されたセグメンテーションモデルをラベル付きターゲットドメインに適応させることを目的としている。 既存の手法では、大きなドメインギャップに悩まされながら、ドメイン不変の特徴を学習しようとする。 本稿では,新しいDual Soft-Paste (DSP)法を提案する。
  論文  参考訳（メタデータ） (2021-07-20T16:22:40Z)
• Few-Shot Domain Adaptation with Polymorphic Transformers [50.128636842853155]
  1セットの医療画像でトレーニングされたディープニューラルネットワーク(DNN)は、しばしば目に見えないテスト画像に対して深刻なパフォーマンス低下を経験する。 少数のアノテーションで訓練されたモデルを適用するという、ほとんどショットのドメイン適応は、この場合非常に実用的で有用である。 本稿では,任意のDNNバックボーンに組み込んだポリモルフィックトランス (Polymorphic Transformer) を提案する。
  論文  参考訳（メタデータ） (2021-07-10T10:08:57Z)
• PixMatch: Unsupervised Domain Adaptation via Pixelwise Consistency Training [4.336877104987131]
  教師なしドメイン適応はセマンティックセグメンテーションの有望なテクニックである。 対象領域整合性訓練の概念に基づく非監視領域適応のための新しいフレームワークを提案する。 私たちのアプローチはシンプルで、実装が簡単で、トレーニング時にメモリ効率が向上します。
  論文  参考訳（メタデータ） (2021-05-17T19:36:28Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。