論文の概要: Weakly-Supervised Photo-realistic Texture Generation for 3D Face Reconstruction

• arxiv url: http://arxiv.org/abs/2106.08148v1
• Date: Mon, 14 Jun 2021 12:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:10:39.850521
• Title: Weakly-Supervised Photo-realistic Texture Generation for 3D Face Reconstruction
• Title（参考訳）: 3次元顔再構成のための弱改良フォトリアリスティックテクスチャ生成
• Authors: Xiangnan Yin, Di Huang, Zehua Fu, Yunhong Wang, Liming Chen
• Abstract要約: 高忠実度3D顔テクスチャ生成についてはまだ研究されていない。 モデルはUVサンプリング器とUVジェネレータで構成される。 トレーニングは、3DMMテクスチャと入力顔テクスチャでブレンドされた擬似地上真実に基づいている。
• 参考スコア（独自算出の注目度）: 48.952656891182826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although much progress has been made recently in 3D face reconstruction, most previous work has been devoted to predicting accurate and fine-grained 3D shapes. In contrast, relatively little work has focused on generating high-fidelity face textures. Compared with the prosperity of photo-realistic 2D face image generation, high-fidelity 3D face texture generation has yet to be studied. In this paper, we proposed a novel UV map generation model that predicts the UV map from a single face image. The model consists of a UV sampler and a UV generator. By selectively sampling the input face image's pixels and adjusting their relative locations, the UV sampler generates an incomplete UV map that could faithfully reconstruct the original face. Missing textures in the incomplete UV map are further full-filled by the UV generator. The training is based on pseudo ground truth blended by the 3DMM texture and the input face texture, thus weakly supervised. To deal with the artifacts in the imperfect pseudo UV map, multiple partial UV map discriminators are leveraged.
• Abstract（参考訳）: 近年, 3次元顔の復元に多くの進歩が見られたが, これまでの研究のほとんどは, 正確な3次元形状の予測に費やされてきた。 対照的に、高忠実な顔のテクスチャを生み出すことに焦点を当てた作品はほとんどない。 フォトリアリスティックな2d顔画像生成の隆盛と比べ、高忠実な3d顔テクスチャ生成はまだ研究されていない。 本稿では,単一の顔画像からUVマップを予測する新しいUVマップ生成モデルを提案する。 モデルはUVサンプリング機とUVジェネレータで構成されている。 入力された顔画像のピクセルを選択的にサンプリングし、相対位置を調整することで、uvサンプラーは元の顔を忠実に再構築できる不完全なuvマップを生成する。 不完全なUVマップの欠落したテクスチャは、UVジェネレータによってさらにフルフィルされる。 トレーニングは、3DMMテクスチャと入力顔テクスチャでブレンドされた擬似地上真実に基づいており、弱教師付きである。 不完全な疑似uvマップのアーティファクトに対処するために、複数の部分的なuvマップ判別器が活用されている。

関連論文リスト

• UVMap-ID: A Controllable and Personalized UV Map Generative Model [67.71022515856653]
  制御可能でパーソナライズされたUVマップ生成モデルであるUVMap-IDを導入する。 従来の2次元の大規模学習法とは異なり,本研究では,事前学習したテキスト・画像拡散モデルの微調整を提案する。 定量的および定性的な解析は、制御可能でパーソナライズされたUVマップ生成における本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-04-22T20:30:45Z)
• Texture Generation on 3D Meshes with Point-UV Diffusion [86.69672057856243]
  本稿では, 粗い微細化パイプラインであるPoint-UV拡散モデルとUVマッピングを併用し, 高品質なテクスチャイメージをUV空間で生成する。 本手法は,任意の属のメッシュを処理し,多種多様で,幾何に適合し,高忠実度なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-21T06:20:54Z)
• FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction [46.3392612457273]
  このデータセットには、5万以上の高品質なテクスチャUVマップが含まれており、照度、中性表現、クリーンな顔領域がある。 我々のパイプラインは、StyleGANベースの顔画像編集アプローチの最近の進歩を活用している。 実験により,本手法は最先端手法よりも再現精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-11-25T03:21:05Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• StyleUV: Diverse and High-fidelity UV Map Generative Model [24.982824840625216]
  本稿では,高品質なUVマップを訓練に必要とせず,多種多様なリアルなUVマップを生成することを学習する新しいUVマップ生成モデルを提案する。 定量的および定性的な評価は,提案したテクスチャモデルが既存手法よりも多様性が高く,忠実度の高いテクスチャを生成することを示すものである。
  論文  参考訳（メタデータ） (2020-11-25T17:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。