論文の概要: HyperGAN-CLIP: A Unified Framework for Domain Adaptation, Image Synthesis and Manipulation

• arxiv url: http://arxiv.org/abs/2411.12832v1
• Date: Tue, 19 Nov 2024 19:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:22.122846
• Title: HyperGAN-CLIP: A Unified Framework for Domain Adaptation, Image Synthesis and Manipulation
• Title（参考訳）: HyperGAN-CLIP: ドメイン適応、画像合成、操作のための統一フレームワーク
• Authors: Abdul Basit Anees, Ahmet Canberk Baykal, Muhammed Burak Kizil, Duygu Ceylan, Erkut Erdem, Aykut Erdem,
• Abstract要約: GAN(Generative Adversarial Networks)は、非常にリアルな画像を生成する際、顕著な能力を示した。 本稿では,CLIP空間をハイパーネットワーク経由で統合することにより,事前学習したStyleGANの機能を大幅に拡張する新しいフレームワークを提案する。 提案手法は,テキスト固有のトレーニングデータを必要としないテキスト誘導画像操作が可能な,前例のない柔軟性を示す。
• 参考スコア（独自算出の注目度）: 21.669044026456557
• License:
• Abstract: Generative Adversarial Networks (GANs), particularly StyleGAN and its variants, have demonstrated remarkable capabilities in generating highly realistic images. Despite their success, adapting these models to diverse tasks such as domain adaptation, reference-guided synthesis, and text-guided manipulation with limited training data remains challenging. Towards this end, in this study, we present a novel framework that significantly extends the capabilities of a pre-trained StyleGAN by integrating CLIP space via hypernetworks. This integration allows dynamic adaptation of StyleGAN to new domains defined by reference images or textual descriptions. Additionally, we introduce a CLIP-guided discriminator that enhances the alignment between generated images and target domains, ensuring superior image quality. Our approach demonstrates unprecedented flexibility, enabling text-guided image manipulation without the need for text-specific training data and facilitating seamless style transfer. Comprehensive qualitative and quantitative evaluations confirm the robustness and superior performance of our framework compared to existing methods.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)、特にStyleGANとその変種は、非常にリアルな画像を生成する際、顕著な能力を示した。 その成功にもかかわらず、これらのモデルをドメイン適応、参照誘導合成、限られたトレーニングデータによるテキスト誘導操作といった多様なタスクに適用することは依然として困難である。 そこで本研究では,CLIP空間をハイパーネットワーク経由で統合することにより,事前学習したStyleGANの機能を大幅に拡張する新しいフレームワークを提案する。 この統合により、参照画像やテキスト記述によって定義された新しいドメインへのStyleGANの動的適応が可能になる。 また,CLIP誘導判別器を導入し,生成した画像と対象領域との整合性を高め,画質の向上を図る。 提案手法は,テキスト固有のトレーニングデータを必要としないテキスト誘導画像操作が可能で,シームレスなスタイル転送を容易にすることによる,前例のない柔軟性を示す。 包括的質的,定量的評価により,従来の手法と比較して,フレームワークの堅牢性と優れた性能が確認された。

関連論文リスト

• In the Era of Prompt Learning with Vision-Language Models [1.060608983034705]
  ドメイン一般化のためのドメインに依存しない新しい学習戦略であるtextscStyLIP を紹介する。 StyLIPは、スタイルプロジェクタを使用してドメイン固有のプロンプトトークンを学習することで、CLIPsビジョンエンコーダの視覚スタイルとコンテンツを切り離す。 また,CLIPの凍結視覚バックボーンを利用した非教師なし領域適応(DA)のためのAD-CLIPを提案する。
  論文  参考訳（メタデータ） (2024-11-07T17:31:21Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations [61.132408427908175]
  0ショットのGAN適応は、よく訓練されたジェネレータを再利用して、目に見えないターゲットドメインの画像を合成することを目的としている。 実際の画像の代わりに1つの代表的テキスト機能しか持たないため、合成された画像は徐々に多様性を損なう。 そこで本研究では,CLIP空間における対象テキストの意味的変化を見つけるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T08:12:28Z)
• Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
  スケッチに基づく画像検索のクロスドメイン性は困難である。 重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。 ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-05-09T03:10:15Z)
• Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
  画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。 また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T06:16:15Z)
• Bridging CLIP and StyleGAN through Latent Alignment for Image Editing [33.86698044813281]
  我々はCLIPとStyleGANを橋渡し、推論時最適化のない多様な操作方向マイニングを実現する。 このマッピング方式により、GANインバージョン、テキスト・ツー・イメージ生成、テキスト駆動画像操作を実現することができる。
  論文  参考訳（メタデータ） (2022-10-10T09:17:35Z)
• Optimizing Latent Space Directions For GAN-based Local Image Editing [15.118159513841874]
  画像編集の局所性を評価するために,新たな目的関数を提案する。 我々のフレームワークであるLocally Effective Latent Space Direction (LELSD)は,任意のデータセットやGANアーキテクチャに適用可能である。 また,提案手法は高速であり,画像の編集を対話的に行うことが可能である。
  論文  参考訳（メタデータ） (2021-11-24T16:02:46Z)
• Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators? [100.60938767993088]
  任意の入力画像に適応し、フレキシブルな目的の下で自然な翻訳効果をレンダリングできる軽量な最適化アルゴリズムを提案する。 フォトリアリズムと一貫性の両方を必要とする高解像度画像の顔属性編集において,提案するフレームワークの性能を検証する。
  論文  参考訳（メタデータ） (2020-11-19T07:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。