論文の概要: UniHDA: Towards Universal Hybrid Domain Adaptation of Image Generators

• arxiv url: http://arxiv.org/abs/2401.12596v1
• Date: Tue, 23 Jan 2024 09:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 16:19:43.794726
• Title: UniHDA: Towards Universal Hybrid Domain Adaptation of Image Generators
• Title（参考訳）: UniHDA:イメージジェネレータのユニバーサルハイブリッドドメイン適応を目指して
• Authors: Hengjia Li, Yang Liu, Yuqi Lin, Zhanwei Zhang, Yibo Zhao, weihang Pan, Tu Zheng, Zheng Yang, Yuchun Jiang, Boxi Wu, Deng Cai
• Abstract要約: 生成ハイブリッドドメイン適応のための統一的で汎用的なフレームワークUniHDAを提案する。 私たちは、CLIPエンコーダを使用して、複数のモーダル参照を統一的な埋め込み空間に投影し、複数のターゲットドメインから方向を線形に補間する。 実験により、適応された生成器は、様々な属性組成でリアルなイメージを合成できることが示されている。
• 参考スコア（独自算出の注目度）: 22.658805803336286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative domain adaptation has achieved remarkable progress, enabling us to adapt a pre-trained generator to a new target domain. However, existing methods simply adapt the generator to a single target domain and are limited to a single modality, either text-driven or image-driven. Moreover, they are prone to overfitting domain-specific attributes, which inevitably compromises cross-domain consistency. In this paper, we propose UniHDA, a unified and versatile framework for generative hybrid domain adaptation with multi-modal references from multiple domains. We use CLIP encoder to project multi-modal references into a unified embedding space and then linear interpolate the direction vectors from multiple target domains to achieve hybrid domain adaptation. To ensure the cross-domain consistency, we propose a novel cross-domain spatial structure (CSS) loss that maintains detailed spatial structure information between source and target generator. Experiments show that the adapted generator can synthesise realistic images with various attribute compositions. Additionally, our framework is versatile to multiple generators, \eg, StyleGAN2 and Diffusion Models.
• Abstract（参考訳）: 生成領域適応は著しく進歩し、事前訓練されたジェネレータを新しいターゲットドメインに適応できるようになりました。 しかし、既存のメソッドはジェネレータを単一のターゲットドメインに適応させるだけで、テキスト駆動または画像駆動のいずれかの単一のモダリティに制限される。 さらにそれらは、必然的にドメイン間の一貫性を損なうドメイン固有の属性をオーバーフィットしがちである。 本稿では,複数領域からのマルチモーダル参照を持つ生成的ハイブリッドドメイン適応のための統一的で汎用的なフレームワーク unihda を提案する。 クリップエンコーダを用いて,マルチモーダル参照を統一埋め込み空間に投影し,複数の対象領域から方向ベクトルを線形補間し,ハイブリッド領域適応を実現する。 クロスドメインの整合性を確保するため、ソースとターゲットジェネレータ間の詳細な空間構造情報を保持する新しいクロスドメイン空間構造(CSS)損失を提案する。 実験により、適応型生成器は様々な属性構成の現実的な画像を合成できることが示されている。 さらに、我々のフレームワークは、複数のジェネレータ、 \eg、 StyleGAN2、 Diffusion Modelsに対して汎用的です。

関連論文リスト

• Few-shot Hybrid Domain Adaptation of Image Generators [14.779903669510846]
  Few-shot Hybrid Domain Adaptationは、すべてのターゲットドメインの統合属性を保存する適応型ジェネレータを取得することを目的としている。 本稿では,異なる領域の画像を分離可能な部分空間に直接エンコードする,差別化不要なフレームワークを提案する。 実験により,本手法は単一適応型ジェネレータにおいて多くのドメイン固有属性を得ることができることが示された。
  論文  参考訳（メタデータ） (2023-10-30T09:35:43Z)
• Domain Re-Modulation for Few-Shot Generative Domain Adaptation [71.47730150327818]
  生成ドメイン適応(Generative Domain Adaptation, GDA)は、トレーニング済みのジェネレータを、いくつかの参照イメージのみを使用して、ひとつのドメインから新しいドメインに転送する。 人間の脳が新しいドメインの知識を得る方法に触発されて、ドメイン再構成(DoRM)と呼ばれる革新的なジェネレータ構造を提示する。 DoRMは、高品質、大規模な合成の多様性、ドメイン間の整合性の基準を満たすだけでなく、メモリとドメインの関連も含んでいる。
  論文  参考訳（メタデータ） (2023-02-06T03:55:35Z)
• Generalized One-shot Domain Adaption of Generative Adversarial Networks [72.84435077616135]
  GAN(Generative Adversarial Network)の適応は、事前訓練されたGANを、限られたトレーニングデータを持つ特定のドメインに転送することを目的としている。 我々は、ソースドメインからターゲットドメインへの適応を、テクスチャや色といったグローバルなスタイルの移行と、ソースドメインに属さない新しいエンティティの出現の2つの部分に分離できると考えている。 我々の中核的な目的は、参照と合成の内部分布のギャップをワッサーシュタイン距離によって制限することである。
  論文  参考訳（メタデータ） (2022-09-08T09:24:44Z)
• Towards Diverse and Faithful One-shot Adaption of Generative Adversarial Networks [54.80435295622583]
  ワンショット生成ドメイン適応は、訓練済みのジェネレータを1つの参照画像のみを使用して、新しいドメインに転送することを目的としている。 本稿では、多種多様な世代と忠実な適応のための新しい一発生成ドメイン適応法、すなわち、DiFaを提案する。
  論文  参考訳（メタデータ） (2022-07-18T16:29:41Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Dynamic Transfer for Multi-Source Domain Adaptation [82.54405157719641]
  モデルパラメータがサンプルに適合する領域の競合に対処するために動的転送を提案する。 ソースドメインの障壁を壊し、マルチソースドメインを単一ソースドメインに変換する。 実験の結果, ドメインラベルを使わずに, 動的移動は最先端の手法よりも3%以上優れていた。
  論文  参考訳（メタデータ） (2021-03-19T01:22:12Z)
• Multi-Domain Level Generation and Blending with Sketches via Example-Driven BSP and Variational Autoencoders [3.5234963231260177]
  構造パターンの再結合,適応,再利用が可能なレベル生成のためのPCGMLアプローチを提案する。 提案手法は, 構造的コンポーネントを維持しながら, ドメインを融合させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-17T12:21:22Z)
• MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation [58.38749495295393]
  ドメイン適応は、あるラベル付きソースドメインと、わずかにラベル付けまたはラベル付けされていないターゲットドメインの間のドメインシフトをブリッジするために、転送可能なモデルを学ぶことを目的としています。 近年のマルチソース領域適応法(MDA)では,ソースとターゲット間の画素レベルのアライメントは考慮されていない。 これらの課題に対処するための新しいMDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T21:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。