論文の概要: SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing

• arxiv url: http://arxiv.org/abs/2112.02236v2
• Date: Tue, 7 Dec 2021 09:38:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 09:41:58.302819
• Title: SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing
• Title（参考訳）: SemanticStyleGAN: 制御可能な画像合成と編集のための構成生成優先学習
• Authors: Yichun Shi, Xiao Yang, Yangyue Wan, Xiaohui Shen
• Abstract要約: StyleGANは、画像合成と編集の下流タスクに有望な事前モデルを提供する。 本稿では,ジェネレータが局所的な意味部分を個別にモデル化し,構成的に画像を合成するように訓練されるSemanticStyleGANを提案する。
• 参考スコア（独自算出の注目度）: 35.02841064647306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have shown that StyleGANs provide promising prior models for downstream tasks on image synthesis and editing. However, since the latent codes of StyleGANs are designed to control global styles, it is hard to achieve a fine-grained control over synthesized images. We present SemanticStyleGAN, where a generator is trained to model local semantic parts separately and synthesizes images in a compositional way. The structure and texture of different local parts are controlled by corresponding latent codes. Experimental results demonstrate that our model provides a strong disentanglement between different spatial areas. When combined with editing methods designed for StyleGANs, it can achieve a more fine-grained control to edit synthesized or real images. The model can also be extended to other domains via transfer learning. Thus, as a generic prior model with built-in disentanglement, it could facilitate the development of GAN-based applications and enable more potential downstream tasks.
• Abstract（参考訳）: 近年の研究では、StyleGANは画像合成と編集の下流タスクに有望な事前モデルを提供することが示された。 しかし,スタイルガンの潜在符号はグローバルスタイルを制御するために設計されているため,合成画像に対するきめ細かい制御は困難である。 本稿では,ジェネレータが局所的な意味部分を個別にモデル化し,構成的に画像を合成するように訓練されるSemanticStyleGANを提案する。 異なる局所部分の構造とテクスチャは対応する潜在コードによって制御される。 実験の結果, 異なる空間領域間の強い絡み合いが得られた。 StyleGAN用に設計された編集方法と組み合わせることで、合成画像や実画像のよりきめ細かい編集が可能となる。 モデルは転送学習を通じて他のドメインに拡張することもできる。 したがって、ビルトインのアンタングルを組み込んだ一般的な事前モデルとして、GANベースのアプリケーション開発を促進し、より潜在的な下流タスクを可能にすることができる。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• LinkGAN: Linking GAN Latents to Pixels for Controllable Image Synthesis [104.26279487968839]
  本研究は、GANトレーニングのための使い易い正規化器を提案する。 これは、潜在空間のいくつかの軸を合成画像中のピクセルの集合に明示的に関連付けるのに役立つ。
  論文  参考訳（メタデータ） (2023-01-11T17:56:36Z)
• Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
  本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。 提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2022-12-02T21:39:26Z)
• SIAN: Style-Guided Instance-Adaptive Normalization for Multi-Organ Histopathology Image Synthesis [63.845552349914186]
  本研究では,異なる臓器に対して,現実的な色分布とテクスチャを合成するためのスタイル誘導型インスタンス適応正規化(SIAN)を提案する。 4つのフェーズは一緒に動作し、生成ネットワークに統合され、イメージセマンティクス、スタイル、インスタンスレベルのバウンダリを埋め込む。
  論文  参考訳（メタデータ） (2022-09-02T16:45:46Z)
• Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples [2.348633570886661]
  本稿では,事前学習したGANの潜伏空間において,任意の属性を制御できる新しい手法を提案する。 我々は最小限のサンプルを頼りにSim2Real学習を行い、連続的な正確な編集を無制限に行う。
  論文  参考訳（メタデータ） (2021-11-16T12:42:04Z)
• StyleFusion: A Generative Model for Disentangling Spatial Segments [41.35834479560669]
  StyleGANの新しいマッピングアーキテクチャであるStyleFusionを紹介する。 StyleFusionは、複数の潜伏したコードを入力として、それらを単一のスタイルのコードにフューズする。 生成された画像の各領域のきめ細かい制御を提供する。
  論文  参考訳（メタデータ） (2021-07-15T16:35:21Z)
• Decorating Your Own Bedroom: Locally Controlling Image Generation with Generative Adversarial Networks [15.253043666814413]
  出力画像のローカル編集を支援するために、LoGANと呼ばれる効果的なアプローチを提案します。 部屋内の個々のオブジェクトをシームレスに削除、挿入、シフト、回転することが可能です。 我々の方法は部屋を完全に取り除き、それをカスタマイズされた家具やスタイルで再現することができる。
  論文  参考訳（メタデータ） (2021-05-18T01:31:49Z)
• Navigating the GAN Parameter Space for Semantic Image Editing [35.622710993417456]
  Generative Adversarial Networks (GAN) はビジュアル編集に必須のツールである。 本稿では,StyleGAN2のような最先端のモデルで実現可能な視覚効果の範囲を大きく広げる。
  論文  参考訳（メタデータ） (2020-11-27T15:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。