論文の概要: GAN-Control: Explicitly Controllable GANs

• arxiv url: http://arxiv.org/abs/2101.02477v1
• Date: Thu, 7 Jan 2021 10:54:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 13:36:21.635606
• Title: GAN-Control: Explicitly Controllable GANs
• Title（参考訳）: GAN-Control: 明示的な制御可能なGAN
• Authors: Alon Shoshan, Nadav Bhonker, Igor Kviatkovsky, Gerard Medioni
• Abstract要約: 生成された画像を明示的に制御するGANをトレーニングするためのフレームワークを提示する。 生成した画像は、年齢、ポーズ、表現などの正確な属性を設定して制御することができます。
• 参考スコア（独自算出の注目度）: 4.014524824655106
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a framework for training GANs with explicit control over generated images. We are able to control the generated image by settings exact attributes such as age, pose, expression, etc. Most approaches for editing GAN-generated images achieve partial control by leveraging the latent space disentanglement properties, obtained implicitly after standard GAN training. Such methods are able to change the relative intensity of certain attributes, but not explicitly set their values. Recently proposed methods, designed for explicit control over human faces, harness morphable 3D face models to allow fine-grained control capabilities in GANs. Unlike these methods, our control is not constrained to morphable 3D face model parameters and is extendable beyond the domain of human faces. Using contrastive learning, we obtain GANs with an explicitly disentangled latent space. This disentanglement is utilized to train control-encoders mapping human-interpretable inputs to suitable latent vectors, thus allowing explicit control. In the domain of human faces we demonstrate control over identity, age, pose, expression, hair color and illumination. We also demonstrate control capabilities of our framework in the domains of painted portraits and dog image generation. We demonstrate that our approach achieves state-of-the-art performance both qualitatively and quantitatively.
• Abstract（参考訳）: 本稿では,生成画像の明示的な制御によるgan学習の枠組みを提案する。 生成した画像は、年齢、ポーズ、表情などの正確な属性を設定することで制御できます。 GAN生成画像を編集するためのほとんどのアプローチは、標準GAN訓練後に暗黙的に得られた潜伏空間のゆがみ特性を利用して部分的な制御を実現する。 そのようなメソッドは特定の属性の相対的な強度を変更できるが、明示的に値を設定することはできない。 近年,人間の顔の鮮明な制御を目的とした3次元顔モデルが提案され,GANのきめ細かい制御が可能となった。 これらの方法とは異なり、我々の制御は変形可能な3次元顔モデルパラメータに制約されず、人間の顔の領域を超えて拡張可能である。 対照的な学習を用いて, 明らかに不連続な潜在空間を持つganを得る。 この歪みを利用して、人間の解釈可能な入力を適切な潜在ベクトルにマッピングする制御エンコーダを訓練し、明示的な制御を可能にする。 人間の顔の領域では、アイデンティティ、年齢、ポーズ、表情、髪の色、照明の制御が示されます。 また,絵画や犬の画像生成の領域において,我々のフレームワークの制御能力を示す。 提案手法は,定性的かつ定量的に,最先端の性能を実現する。

関連論文リスト

• PerLDiff: Controllable Street View Synthesis Using Perspective-Layout Diffusion Models [55.080748327139176]
  本稿では、3次元幾何学的情報を完全に活用した効果的なストリートビュー画像生成手法であるPerLDiffを紹介する。 この結果から,我々のPerLDiffはNuScenesおよびKITTIデータセットの生成精度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-07-08T16:46:47Z)
• XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
  XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
  論文  参考訳（メタデータ） (2023-11-22T18:30:42Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• Text and Image Guided 3D Avatar Generation and Manipulation [0.0]
  テキストや「若い顔」や「驚きの顔」といった画像に基づくプロンプトを用いて、モデルの形状とテクスチャの両方を操作できる新しい3D操作法を提案する。 提案手法は操作に5分しか必要とせず,提案手法の有効性を広範囲な結果と比較で実証する。
  論文  参考訳（メタデータ） (2022-02-12T14:37:29Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• GIF: Generative Interpretable Faces [16.573491296543196]
  3次元顔モデリング法はパラメトリック制御を提供するが、非現実的な画像を生成する。 最近の手法は、教師なしの方法で異なる因子をアンタングルしようとするか、事前訓練されたモデルに制御ポストホックを追加することによって、部分的な制御を得る。 我々は、生成過程における乱れを促すために、事前定義された制御パラメータに生成モデルを条件付けする。
  論文  参考訳（メタデータ） (2020-08-31T23:40:26Z)
• Towards a Neural Graphics Pipeline for Controllable Image Generation [96.11791992084551]
  ニューラルグラフパイプライン(NGP)は,ニューラルネットワークと従来の画像形成モデルを組み合わせたハイブリッド生成モデルである。 NGPは、画像を解釈可能な外観特徴マップの集合に分解し、制御可能な画像生成のための直接制御ハンドルを明らかにする。 単目的シーンの制御可能な画像生成におけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T14:22:54Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。