論文の概要: Attribute-specific Control Units in StyleGAN for Fine-grained Image Manipulation

• arxiv url: http://arxiv.org/abs/2111.13010v1
• Date: Thu, 25 Nov 2021 10:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 09:11:03.487871
• Title: Attribute-specific Control Units in StyleGAN for Fine-grained Image Manipulation
• Title（参考訳）: きめ細かい画像操作のためのスタイルGANの属性固有制御系
• Authors: Rui Wang, Jian Chen, Gang Yu, Li Sun, Changqian Yu, Changxin Gao, Nong Sang
• Abstract要約: 特徴マップと変調スタイルの複数のチャネルからなる属性固有制御ユニットを探索する。 具体的には、制御ユニット内の変調スタイルのチャネルと特徴マップを協調的に操作し、意味的および空間的不整合制御を得る。 我々は、特定のスパース方向ベクトルに沿って変調スタイルを移動させ、これらの制御ユニットを操作するために特徴マップを計算するために使用されるフィルタワイズスタイルを置き換える。
• 参考スコア（独自算出の注目度）: 57.99007520795998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image manipulation with StyleGAN has been an increasing concern in recent years.Recent works have achieved tremendous success in analyzing several semantic latent spaces to edit the attributes of the generated images.However, due to the limited semantic and spatial manipulation precision in these latent spaces, the existing endeavors are defeated in fine-grained StyleGAN image manipulation, i.e., local attribute translation.To address this issue, we discover attribute-specific control units, which consist of multiple channels of feature maps and modulation styles. Specifically, we collaboratively manipulate the modulation style channels and feature maps in control units rather than individual ones to obtain the semantic and spatial disentangled controls. Furthermore, we propose a simple yet effective method to detect the attribute-specific control units. We move the modulation style along a specific sparse direction vector and replace the filter-wise styles used to compute the feature maps to manipulate these control units. We evaluate our proposed method in various face attribute manipulation tasks. Extensive qualitative and quantitative results demonstrate that our proposed method performs favorably against the state-of-the-art methods. The manipulation results of real images further show the effectiveness of our method.
• Abstract（参考訳）: Image manipulation with StyleGAN has been an increasing concern in recent years.Recent works have achieved tremendous success in analyzing several semantic latent spaces to edit the attributes of the generated images.However, due to the limited semantic and spatial manipulation precision in these latent spaces, the existing endeavors are defeated in fine-grained StyleGAN image manipulation, i.e., local attribute translation.To address this issue, we discover attribute-specific control units, which consist of multiple channels of feature maps and modulation styles. 具体的には、制御ユニット内の変調スタイルのチャネルと特徴マップを個別ではなく協調的に操作し、意味的および空間的不整合制御を得る。 さらに,属性固有の制御ユニットを簡易かつ効果的に検出する手法を提案する。 我々は、変調スタイルを特定のスパース方向ベクトルに沿って移動させ、これらの制御ユニットを操作するために特徴マップを計算するために使用されるフィルタワイズスタイルを置き換える。 種々の顔属性操作タスクにおける提案手法の評価を行った。 その結果,提案手法は最先端の手法に対して有効であることがわかった。 実画像の操作結果はさらに,本手法の有効性を示す。

関連論文リスト

• Localizing Object-level Shape Variations with Text-to-Image Diffusion Models [60.422435066544814]
  本稿では,特定の物体の形状の変化を表現した画像の集合を生成する手法を提案する。 オブジェクトのバリエーションを生成する際の特に課題は、オブジェクトの形状に適用される操作を正確にローカライズすることである。 画像空間の操作をローカライズするために,自己注意層と交差注意層を併用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-03-20T17:45:08Z)
• Exploring the Effectiveness of Mask-Guided Feature Modulation as a Mechanism for Localized Style Editing of Real Images [33.018300966769516]
  本稿ではセマンティック・スタイル・オートエンコーダ(SSAE)について述べる。 この作業は,将来の作業のガイドプライマーとして機能する。
  論文  参考訳（メタデータ） (2022-11-21T07:36:20Z)
• Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration [39.18239951479647]
  RAAME (Few-shot Latent-based Attribute Manipulation and Editing) について紹介する。 FLAMEは、遅延空間操作によって高度に制御された画像編集を行うためのフレームワークである。 様々な属性スタイルをアンタングル的に生成する。
  論文  参考訳（メタデータ） (2022-07-20T12:40:32Z)
• DyStyle: Dynamic Neural Network for Multi-Attribute-Conditioned Style Editing [12.80013698957431]
  属性条件付きスタイル編集を行うために動的スタイル操作ネットワーク(DyStyle)を提案する。 DyStyleネットワークの効率的かつ安定したトレーニングのために、新しい容易かつハードなトレーニング手順が導入された。 提案手法では,複数の数値属性とバイナリ属性に沿って細粒度な不整合編集を行う。
  論文  参考訳（メタデータ） (2021-09-22T13:50:51Z)
• Surrogate Gradient Field for Latent Space Manipulation [4.880243880711163]
  GAN(Generative Adversarial Network)は、サンプルコードから高品質な画像を生成する。 最近の作品は、基礎となる潜在コードを操作して画像の編集を試みるが、属性調整の基本的なタスクを超えることは滅多にない。 キーポイントやキャプションなどの多次元条件で操作できる最初の手法を提案する。
  論文  参考訳（メタデータ） (2021-04-19T06:15:06Z)
• StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery [71.1862388442953]
  StyleGAN画像操作のためのテキストベースのインターフェースを開発しています。 まず,ユーザが提案するテキストプロンプトに応答して,CLIPに基づく損失を利用して入力潜時ベクトルを変更する最適化手法を提案する。 次に、与えられた入力画像に対してテキスト誘導の潜時操作ステップを推論し、より高速で安定したテキストベースの操作を可能にする潜時マッパーについて述べる。
  論文  参考訳（メタデータ） (2021-03-31T17:51:25Z)
• Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation [136.53288628437355]
  コントロール可能なセマンティックイメージ編集により、ユーザーはクリック数回で画像属性全体を変更できる。 現在のアプローチでは、絡み合った属性編集、グローバルなイメージアイデンティティの変更、フォトリアリズムの低下に悩まされることが多い。 本稿では,主に定性評価に焦点を当てた先行研究とは異なり,制御可能な編集性能を測定するための定量的評価手法を提案する。
  論文  参考訳（メタデータ） (2021-02-01T21:38:36Z)
• StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation [45.20783737095007]
  画像生成のための最先端アーキテクチャであるStyleGAN2の潜在スタイル空間を探索・解析する。 StyleSpace は、以前の研究によって探索された他の中間潜在空間よりもはるかに非絡み合っている。 本研究は, 意味的に意味のある画像操作を, シンプルかつ直感的に行う方法である。
  論文  参考訳（メタデータ） (2020-11-25T15:00:33Z)
• Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators? [100.60938767993088]
  任意の入力画像に適応し、フレキシブルな目的の下で自然な翻訳効果をレンダリングできる軽量な最適化アルゴリズムを提案する。 フォトリアリズムと一貫性の両方を必要とする高解像度画像の顔属性編集において,提案するフレームワークの性能を検証する。
  論文  参考訳（メタデータ） (2020-11-19T07:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。