論文の概要: SofGAN: A Portrait Image Generator with Dynamic Styling

• arxiv url: http://arxiv.org/abs/2007.03780v2
• Date: Fri, 6 Aug 2021 09:22:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 20:27:00.811240
• Title: SofGAN: A Portrait Image Generator with Dynamic Styling
• Title（参考訳）: sofgan:動的なスタイリングを備えたポートレートイメージジェネレータ
• Authors: Anpei Chen, Ruiyang Liu, Ling Xie, Zhang Chen, Hao Su, Jingyi Yu
• Abstract要約: 画像生成にはGAN(Generative Adversarial Networks)が広く利用されている。 本稿では2つの部分空間に分割するSofGAN画像生成器を提案する。 本システムは,独立に制御可能な形状とテクスチャ特性を持つ高品質なポートレート画像を生成することができることを示す。
• 参考スコア（独自算出の注目度）: 47.10046693844792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Generative Adversarial Networks (GANs)} have been widely used for portrait image generation. However, in the latent space learned by GANs, different attributes, such as pose, shape, and texture style, are generally entangled, making the explicit control of specific attributes difficult. To address this issue, we propose a SofGAN image generator to decouple the latent space of portraits into two subspaces: a geometry space and a texture space. The latent codes sampled from the two subspaces are fed to two network branches separately, one to generate the 3D geometry of portraits with canonical pose, and the other to generate textures. The aligned 3D geometries also come with semantic part segmentation, encoded as a semantic occupancy field (SOF). The SOF allows the rendering of consistent 2D semantic segmentation maps at arbitrary views, which are then fused with the generated texture maps and stylized to a portrait photo using our semantic instance-wise (SIW) module. Through extensive experiments, we show that our system can generate high quality portrait images with independently controllable geometry and texture attributes. The method also generalizes well in various applications such as appearance-consistent facial animation and dynamic styling.
• Abstract（参考訳）: 近年,画像生成にGAN(Generative Adversarial Networks)が広く利用されている。 しかし、GANが学習した潜伏空間では、ポーズ、形状、テクスチャスタイルなどの異なる属性が一般的に絡み合っており、特定の属性の明示的な制御が困難である。 この問題に対処するために,ポートレートの潜在空間を幾何学空間とテクスチャ空間の2つの部分空間に分離するsofgan画像生成器を提案する。 2つの部分空間からサンプリングされた潜伏符号は2つのネットワーク分岐に別々に供給され、1つは正正のポーズで肖像画の3次元幾何を生成し、もう1つはテクスチャを生成する。 整列した3Dジオメトリは意味的部分のセグメンテーションも伴い、意味的占有場(SOF)として符号化される。 SOFは任意のビューで一貫した2次元セマンティックセグメンテーションマップのレンダリングを可能にし、生成したテクスチャマップと融合し、セマンティックインスタンスワイズ(SIW)モジュールを使用してポートレート写真にスタイリングする。 広範囲にわたる実験により, 形状とテクスチャ特性を独立に制御可能な高品質なポートレート画像が生成できることを実証した。 また、外観一貫性のある顔アニメーションや動的スタイリングなど、様々な用途でよく一般化されている。

関連論文リスト

• Pixel2ISDF: Implicit Signed Distance Fields based Human Body Model from Multi-view and Multi-pose Images [67.45882013828256]
  我々は,複数の視点と人間のポーズを入力として,標準空間における衣服付き人間の再構築に焦点をあてる。 複数の入力画像を活用することで、ポーズメッシュ上の潜時符号を学習し、その後、標準空間内のメッシュに潜時符号を割り当てる。 本研究は,WCPA MVP-Human Body Challengeにおいて,人体形状を復元する作業を行い,第3の成果を得た。
  論文  参考訳（メタデータ） (2022-12-06T05:30:49Z)
• LatentSwap3D: Semantic Edits on 3D Image GANs [48.1271011449138]
  3D GANは2D画像だけでなく、全3Dボリュームの遅延コードを生成することができる。 LatentSwap3Dは、潜在空間発見に基づくセマンティックな編集手法である。 7つの3D GANと5つのデータセットで結果を示す。
  論文  参考訳（メタデータ） (2022-12-02T18:59:51Z)
• Self-Supervised Image Representation Learning with Geometric Set Consistency [50.12720780102395]
  本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。 具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
  論文  参考訳（メタデータ） (2022-03-29T08:57:33Z)
• FENeRF: Face Editing in Neural Radiance Fields [34.332520597067074]
  FENeRFは、ビュー一貫性と局所編集可能なポートレート画像を生成することができる3D対応ジェネレータである。 本手法では,2つの非結合型潜時符号を用いて,空間配向3次元ボリュームにおける顔のセマンティクスとテクスチャを共通形状で生成する。 実験の結果、FENeRFは様々な顔編集タスクにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-11-30T15:23:08Z)
• Exemplar-Based 3D Portrait Stylization [23.585334925548064]
  ワンショット3Dポートレートスタイル転送のための最初のフレームワークを提示する。 形状が誇張され、テクスチャがスタイリングされた3Dフェイスモデルを生成することができる。 本手法は,異なるスタイルの芸術的効果を強く達成し,既存の手法より優れる。
  論文  参考訳（メタデータ） (2021-04-29T17:59:54Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)
• Convolutional Generation of Textured 3D Meshes [34.20939983046376]
  単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。 我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。 本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-13T15:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。