論文の概要: Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration

• arxiv url: http://arxiv.org/abs/2207.09855v1
• Date: Wed, 20 Jul 2022 12:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 12:44:42.287765
• Title: Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration
• Title（参考訳）: 潜時空間にはすべて存在する:StyleGAN潜時空間探査による属性編集と属性スタイル操作
• Authors: Rishubh Parihar, Ankit Dhiman, Tejan Karmali and R. Venkatesh Babu
• Abstract要約: RAAME (Few-shot Latent-based Attribute Manipulation and Editing) について紹介する。 FLAMEは、遅延空間操作によって高度に制御された画像編集を行うためのフレームワークである。 様々な属性スタイルをアンタングル的に生成する。
• 参考スコア（独自算出の注目度）: 39.18239951479647
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Unconstrained Image generation with high realism is now possible using recent Generative Adversarial Networks (GANs). However, it is quite challenging to generate images with a given set of attributes. Recent methods use style-based GAN models to perform image editing by leveraging the semantic hierarchy present in the layers of the generator. We present Few-shot Latent-based Attribute Manipulation and Editing (FLAME), a simple yet effective framework to perform highly controlled image editing by latent space manipulation. Specifically, we estimate linear directions in the latent space (of a pre-trained StyleGAN) that controls semantic attributes in the generated image. In contrast to previous methods that either rely on large-scale attribute labeled datasets or attribute classifiers, FLAME uses minimal supervision of a few curated image pairs to estimate disentangled edit directions. FLAME can perform both individual and sequential edits with high precision on a diverse set of images while preserving identity. Further, we propose a novel task of Attribute Style Manipulation to generate diverse styles for attributes such as eyeglass and hair. We first encode a set of synthetic images of the same identity but having different attribute styles in the latent space to estimate an attribute style manifold. Sampling a new latent from this manifold will result in a new attribute style in the generated image. We propose a novel sampling method to sample latent from the manifold, enabling us to generate a diverse set of attribute styles beyond the styles present in the training set. FLAME can generate diverse attribute styles in a disentangled manner. We illustrate the superior performance of FLAME against previous image editing methods by extensive qualitative and quantitative comparisons. FLAME also generalizes well on multiple datasets such as cars and churches.
• Abstract（参考訳）: 近年,GAN(Generative Adversarial Networks)を用いて,高いリアリズムを持つ制約のない画像生成が可能になった。 しかし、特定の属性セットで画像を生成することは極めて困難である。 最近の手法では、ジェネレータのレイヤに存在する意味階層を利用して、スタイルベースのganモデルを使用して画像編集を行う。 本稿では,遅延空間操作による高制御画像編集を実現するための簡易かつ効果的なフレームワークFLAMEについて述べる。 具体的には、生成した画像のセマンティック属性を制御する潜在空間(事前学習されたスタイルGAN)の線形方向を推定する。 大規模属性ラベル付きデータセットや属性分類器に依存する従来の手法とは対照的に、FLAMEでは、いくつかのキュレートされたイメージペアの最小限の監督を利用して、非絡み合った編集方向を推定している。 FLAMEは、個々の編集とシーケンシャル編集の両方を、アイデンティティを保ちながら、多様な画像に対して高精度に行うことができる。 さらに,眼鏡や髪髪などの属性に対する多様なスタイルを生成するために,属性スタイル操作の新しいタスクを提案する。 まず、同一の同一性を持つ合成画像の集合を符号化し、潜在空間に異なる属性スタイルを持ち、属性スタイルの多様体を推定する。 この多様体から新しい潜在物をサンプリングすると、生成された画像に新しい属性スタイルが現れる。 そこで,本研究では,学習セットに存在するスタイルを超えて,多種多様な属性スタイルを生成できる,新しいサンプリング手法を提案する。 FLAMEは様々な属性スタイルをアンタングルで生成することができる。 本稿では,従来の画像編集手法と比較して,広範に定性的かつ定量的な比較によってFLAMEの優れた性能を示す。 FLAMEはまた、車や教会のような複数のデータセットでうまく一般化する。

関連論文リスト

• DiffuseGAE: Controllable and High-fidelity Image Manipulation from Disentangled Representation [14.725538019917625]
  拡散確率モデル (DPM) は様々な画像合成タスクにおいて顕著な結果を示した。 DPMには低次元、解釈可能、そしてよく分離された潜在コードがない。 自動符号化による表現学習におけるDPMの可能性を探るため,Diff-AEを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:11:08Z)
• Leveraging Off-the-shelf Diffusion Model for Multi-attribute Fashion Image Manipulation [27.587905673112473]
  ファッション属性編集は、無関係な領域を保存しながら、所定のファッション画像の意味的属性を変換することを目的としたタスクである。 以前の作業では、ジェネレータがターゲット属性を明示的に学習し、変換を直接実行する条件付きGANを使用していた。 画像ネットのような一般的な視覚的セマンティクスに基づいて事前訓練されたオフザシェルフ拡散モデルを利用する分類器誘導拡散について検討する。
  論文  参考訳（メタデータ） (2022-10-12T02:21:18Z)
• ManiCLIP: Multi-Attribute Face Manipulation from Text [104.30600573306991]
  テキスト記述に基づく新しい多属性顔操作法を提案する。 本手法は,テキスト関連属性の編集を最小限に抑えた自然な顔を生成する。
  論文  参考訳（メタデータ） (2022-10-02T07:22:55Z)
• Hierarchical Semantic Regularization of Latent Spaces in StyleGANs [53.98170188547775]
  本稿では,階層型意味正規化器(HSR)を提案する。これは,生成元が学習した階層的表現と,事前学習したネットワークが大量のデータに基づいて学習する強力な特徴とを一致させる。 HSRは、ジェネレータ表現の改善だけでなく、潜在スタイル空間の線形性と滑らかさも示しており、より自然なスタイル編集画像の生成につながっている。
  論文  参考訳（メタデータ） (2022-08-07T16:23:33Z)
• Attribute Group Editing for Reliable Few-shot Image Generation [85.52840521454411]
  本稿では,画像生成のための新しい編集手法,すなわちAttribute Group Editing (AGE)を提案する。 AGEは、GANで学んだ内部表現を調べ、意味的に意味のある方向を識別する。
  論文  参考訳（メタデータ） (2022-03-16T06:54:09Z)
• Attribute-specific Control Units in StyleGAN for Fine-grained Image Manipulation [57.99007520795998]
  特徴マップと変調スタイルの複数のチャネルからなる属性固有制御ユニットを探索する。 具体的には、制御ユニット内の変調スタイルのチャネルと特徴マップを協調的に操作し、意味的および空間的不整合制御を得る。 我々は、特定のスパース方向ベクトルに沿って変調スタイルを移動させ、これらの制御ユニットを操作するために特徴マップを計算するために使用されるフィルタワイズスタイルを置き換える。
  論文  参考訳（メタデータ） (2021-11-25T10:42:10Z)
• DyStyle: Dynamic Neural Network for Multi-Attribute-Conditioned Style Editing [12.80013698957431]
  属性条件付きスタイル編集を行うために動的スタイル操作ネットワーク(DyStyle)を提案する。 DyStyleネットワークの効率的かつ安定したトレーニングのために、新しい容易かつハードなトレーニング手順が導入された。 提案手法では,複数の数値属性とバイナリ属性に沿って細粒度な不整合編集を行う。
  論文  参考訳（メタデータ） (2021-09-22T13:50:51Z)
• SMILE: Semantically-guided Multi-attribute Image and Layout Editing [154.69452301122175]
  GAN(Generative Adversarial Networks)の導入以来、属性画像操作は非常に活発な話題となっている。 対象領域の下位領域情報のみを使用しながら、ランダムノイズや画像によって誘導される全ての属性を処理するマルチモーダル表現を提案する。 本手法では,イメージを参照として,あるいはスタイル分布空間を探索することにより,細粒度や粗粒度などの属性の追加,削除,変更を行うことができる。
  論文  参考訳（メタデータ） (2020-10-05T20:15:21Z)
• StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows [40.69516201141587]
  StyleFlowは、属性特徴によって条件付けられたGAN潜在空間における条件付き連続正規化フローの例である。 提案手法は,StyleGANの顔と車載空間を用いて評価し,実際の写真とStyleGAN生成画像の両方の属性に沿った細粒度な不整合編集を示す。
  論文  参考訳（メタデータ） (2020-08-06T00:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。