論文の概要: Unsupervised High-Fidelity Facial Texture Generation and Reconstruction

• arxiv url: http://arxiv.org/abs/2110.04760v1
• Date: Sun, 10 Oct 2021 10:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 18:07:47.868322
• Title: Unsupervised High-Fidelity Facial Texture Generation and Reconstruction
• Title（参考訳）: 教師なし高忠実顔のテクスチャ生成と再構成
• Authors: Ron Slossberg, Ibrahim Jubran, Ron Kimmel
• Abstract要約: 本稿では,タスクとテクスチャの生成,高忠実度テクスチャの回復という新たな統合パイプラインを提案する。 テクスチャモデルでは,テクスチャマップのスキャンとは対照的に,自然画像から教師なしでテクスチャモデルを学習する。 正確な3DMMフィッティングを適用することで、モデル化したテクスチャを合成生成した背景画像にシームレスに統合することができる。
• 参考スコア（独自算出の注目度）: 20.447635896077454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many methods have been proposed over the years to tackle the task of facial 3D geometry and texture recovery from a single image. Such methods often fail to provide high-fidelity texture without relying on 3D facial scans during training. In contrast, the complementary task of 3D facial generation has not received as much attention. As opposed to the 2D texture domain, where GANs have proven to produce highly realistic facial images, the more challenging 3D geometry domain has not yet caught up to the same levels of realism and diversity. In this paper, we propose a novel unified pipeline for both tasks, generation of both geometry and texture, and recovery of high-fidelity texture. Our texture model is learned, in an unsupervised fashion, from natural images as opposed to scanned texture maps. To the best of our knowledge, this is the first such unified framework independent of scanned textures. Our novel training pipeline incorporates a pre-trained 2D facial generator coupled with a deep feature manipulation methodology. By applying precise 3DMM fitting, we can seamlessly integrate our modeled textures into synthetically generated background images forming a realistic composition of our textured model with background, hair, teeth, and body. This enables us to apply transfer learning from the domain of 2D image generation, thus, benefiting greatly from the impressive results obtained in this domain. We provide a comprehensive study on several recent methods comparing our model in generation and reconstruction tasks. As the extensive qualitative, as well as quantitative analysis, demonstrate, we achieve state-of-the-art results for both tasks.
• Abstract（参考訳）: 顔の3次元形状とテクスチャ復元の課題に取り組むために, 長年にわたり多くの手法が提案されてきた。 このような方法は、トレーニング中に3d顔スキャンに頼ることなく、高忠実度なテクスチャを提供できないことが多い。 対照的に、3次元顔生成の補完的課題はそれほど注目されていない。 GANが非常にリアルな顔画像を作り出すことを証明した2Dテクスチャ領域とは対照的に、より困難な3D幾何学領域は、まだ同じレベルのリアリズムと多様性に到達していない。 本稿では,課題,形状,テクスチャの生成,高忠実度テクスチャの復元のための新しい統一パイプラインを提案する。 テクスチャモデルでは,テクスチャマップをスキャンするのではなく,自然画像から教師なしで学習する。 私たちの知る限りでは、これはスキャンされたテクスチャに依存しない、初めての統合フレームワークです。 新たなトレーニングパイプラインは,事前学習された2d顔生成装置と,深い特徴操作手法を組み合わせたものである。 正確な3DMMフィッティングを施すことで, 背景, 髪, 歯, 体とテクスチャモデルのリアルな構成を形成する合成背景画像に, モデルテクスチャをシームレスに統合することができる。 これにより、2次元画像生成の領域から転送学習を適用できるため、この領域で得られた印象的な結果から大きな恩恵を受けることができる。 本稿では, 生成・再構築作業におけるモデルを比較する最近の手法について, 包括的に検討する。 広義の定性的および定量的解析が示すように、両課題の最先端の結果が得られる。

関連論文リスト

• Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects [54.80813150893719]
  高品質なテクスチャを20秒未満で生成することを目的とした,2つのシーケンシャルネットワークで構成される新しいフィードフォワード方式であるMeta 3D TextureGenを紹介する。 提案手法は,2次元空間の3次元セマンティクスにテキスト・ツー・イメージ・モデルを適用し,それらを完全かつ高解像度なUVテクスチャマップに融合することにより,品質とスピードを向上する。 さらに、任意の比率で任意のテクスチャをアップスケーリングできるテクスチャ拡張ネットワークを導入し、4kピクセルの解像度テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-07-02T17:04:34Z)
• TwinTex: Geometry-aware Texture Generation for Abstracted 3D Architectural Models [13.248386665044087]
  我々はTwinTexについて紹介する。TwinTexは写真にリアルなテクスチャを生成する最初の自動テクスチャマッピングフレームワークである。 提案手法は, 高品質なテクスチャマッピング手法を超越し, より少ない労力で, 熟練した生産水準に達する。
  論文  参考訳（メタデータ） (2023-09-20T12:33:53Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)
• Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks [32.859340851346786]
  本研究では,一眼レフ画像から高忠実度テクスチャで3次元顔形状を再構成する手法を提案する。 提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-03-12T08:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。