論文の概要: UniHDA: A Unified and Versatile Framework for Multi-Modal Hybrid Domain Adaptation

• arxiv url: http://arxiv.org/abs/2401.12596v2
• Date: Fri, 15 Mar 2024 07:44:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 22:33:38.325290
• Title: UniHDA: A Unified and Versatile Framework for Multi-Modal Hybrid Domain Adaptation
• Title（参考訳）: UniHDA: マルチモーダルハイブリッドドメイン適応のための統一的で多機能なフレームワーク
• Authors: Hengjia Li, Yang Liu, Yuqi Lin, Zhanwei Zhang, Yibo Zhao, weihang Pan, Tu Zheng, Zheng Yang, Yuchun Jiang, Boxi Wu, Deng Cai,
• Abstract要約: 提案するUniHDAは,複数のドメインからのマルチモーダル参照を持つハイブリッドドメインを生成可能なフレームワークである。 我々のフレームワークはジェネレータに依存しず、StyleGAN, EG3D, Diffusion Modelsなどの複数のジェネレータに汎用的です。
• 参考スコア（独自算出の注目度）: 22.003900281544766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, generative domain adaptation has achieved remarkable progress, enabling us to adapt a pre-trained generator to a new target domain. However, existing methods simply adapt the generator to a single target domain and are limited to a single modality, either text-driven or image-driven. Moreover, they cannot maintain well consistency with the source domain, which impedes the inheritance of the diversity. In this paper, we propose UniHDA, a \textbf{unified} and \textbf{versatile} framework for generative hybrid domain adaptation with multi-modal references from multiple domains. We use CLIP encoder to project multi-modal references into a unified embedding space and then linearly interpolate the direction vectors from multiple target domains to achieve hybrid domain adaptation. To ensure \textbf{consistency} with the source domain, we propose a novel cross-domain spatial structure (CSS) loss that maintains detailed spatial structure information between source and target generator. Experiments show that the adapted generator can synthesise realistic images with various attribute compositions. Additionally, our framework is generator-agnostic and versatile to multiple generators, e.g., StyleGAN, EG3D, and Diffusion Models.
• Abstract（参考訳）: 近年、生成ドメイン適応は顕著な進歩を遂げており、事前学習されたジェネレータを新しいターゲットドメインに適応させることができる。 しかし、既存の手法では、ジェネレータを単一のターゲットドメインに適応させるだけで、テキスト駆動またはイメージ駆動のいずれでも単一のモダリティに制限される。 さらに、多様性の継承を妨げるソースドメインとの整合性を維持することはできない。 本稿では,複数のドメインからのマルチモーダル参照を用いた生成ハイブリッドドメイン適応のための,UniHDA, \textbf{unified} および \textbf{versatile} フレームワークを提案する。 我々は,CLIPエンコーダを用いて,マルチモーダル参照を統一的な埋め込み空間に投影し,複数の対象領域からの方向ベクトルを線形に補間して,ハイブリッドドメイン適応を実現する。 そこで本研究では,ソース領域とターゲットジェネレータ間の詳細な空間構造情報を保持する,新たなクロスドメイン空間構造(CSS)ロスを提案する。 実験により、適応された生成器は、様々な属性組成でリアルなイメージを合成できることが示されている。 さらに、我々のフレームワークはジェネレータに依存しず、複数のジェネレータ(例えば、StyleGAN、EG3D、Diffusion Models)に汎用的である。

関連論文リスト

• Few-shot Hybrid Domain Adaptation of Image Generators [14.779903669510846]
  Few-shot Hybrid Domain Adaptationは、すべてのターゲットドメインの統合属性を保存する適応型ジェネレータを取得することを目的としている。 本稿では,異なる領域の画像を分離可能な部分空間に直接エンコードする,差別化不要なフレームワークを提案する。 実験により,本手法は単一適応型ジェネレータにおいて多くのドメイン固有属性を得ることができることが示された。
  論文  参考訳（メタデータ） (2023-10-30T09:35:43Z)
• Domain Re-Modulation for Few-Shot Generative Domain Adaptation [71.47730150327818]
  生成ドメイン適応(Generative Domain Adaptation, GDA)は、トレーニング済みのジェネレータを、いくつかの参照イメージのみを使用して、ひとつのドメインから新しいドメインに転送する。 人間の脳が新しいドメインの知識を得る方法に触発されて、ドメイン再構成(DoRM)と呼ばれる革新的なジェネレータ構造を提示する。 DoRMは、高品質、大規模な合成の多様性、ドメイン間の整合性の基準を満たすだけでなく、メモリとドメインの関連も含んでいる。
  論文  参考訳（メタデータ） (2023-02-06T03:55:35Z)
• Generalized One-shot Domain Adaption of Generative Adversarial Networks [72.84435077616135]
  GAN(Generative Adversarial Network)の適応は、事前訓練されたGANを、限られたトレーニングデータを持つ特定のドメインに転送することを目的としている。 我々は、ソースドメインからターゲットドメインへの適応を、テクスチャや色といったグローバルなスタイルの移行と、ソースドメインに属さない新しいエンティティの出現の2つの部分に分離できると考えている。 我々の中核的な目的は、参照と合成の内部分布のギャップをワッサーシュタイン距離によって制限することである。
  論文  参考訳（メタデータ） (2022-09-08T09:24:44Z)
• Towards Diverse and Faithful One-shot Adaption of Generative Adversarial Networks [54.80435295622583]
  ワンショット生成ドメイン適応は、訓練済みのジェネレータを1つの参照画像のみを使用して、新しいドメインに転送することを目的としている。 本稿では、多種多様な世代と忠実な適応のための新しい一発生成ドメイン適応法、すなわち、DiFaを提案する。
  論文  参考訳（メタデータ） (2022-07-18T16:29:41Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Dynamic Transfer for Multi-Source Domain Adaptation [82.54405157719641]
  モデルパラメータがサンプルに適合する領域の競合に対処するために動的転送を提案する。 ソースドメインの障壁を壊し、マルチソースドメインを単一ソースドメインに変換する。 実験の結果, ドメインラベルを使わずに, 動的移動は最先端の手法よりも3%以上優れていた。
  論文  参考訳（メタデータ） (2021-03-19T01:22:12Z)
• Multi-Domain Level Generation and Blending with Sketches via Example-Driven BSP and Variational Autoencoders [3.5234963231260177]
  構造パターンの再結合,適応,再利用が可能なレベル生成のためのPCGMLアプローチを提案する。 提案手法は, 構造的コンポーネントを維持しながら, ドメインを融合させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-17T12:21:22Z)
• MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation [58.38749495295393]
  ドメイン適応は、あるラベル付きソースドメインと、わずかにラベル付けまたはラベル付けされていないターゲットドメインの間のドメインシフトをブリッジするために、転送可能なモデルを学ぶことを目的としています。 近年のマルチソース領域適応法(MDA)では,ソースとターゲット間の画素レベルのアライメントは考慮されていない。 これらの課題に対処するための新しいMDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T21:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。