論文の概要: High-Fidelity Facial Albedo Estimation via Texture Quantization

• arxiv url: http://arxiv.org/abs/2406.13149v1
• Date: Wed, 19 Jun 2024 01:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 23:38:44.252835
• Title: High-Fidelity Facial Albedo Estimation via Texture Quantization
• Title（参考訳）: テクスチャ量子化による高忠実顔面アルベド推定
• Authors: Zimin Ran, Xingyu Ren, Xiang An, Kaicheng Yang, Xiangzi Dai, Ziyong Feng, Jia Guo, Linchao Zhu, Jiankang Deng,
• Abstract要約: 得られたアルベドデータを必要とせずに、単一の画像から直接アルベドマップを復元するHiFiAlbedoを提案する。 本手法は優れた一般化性を示し,眼内アルベド回復のための高忠実度化を実現することができる。
• 参考スコア（独自算出の注目度）: 59.100759403614695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent 3D face reconstruction methods have made significant progress in shape estimation, but high-fidelity facial albedo reconstruction remains challenging. Existing methods depend on expensive light-stage captured data to learn facial albedo maps. However, a lack of diversity in subjects limits their ability to recover high-fidelity results. In this paper, we present a novel facial albedo reconstruction model, HiFiAlbedo, which recovers the albedo map directly from a single image without the need for captured albedo data. Our key insight is that the albedo map is the illumination invariant texture map, which enables us to use inexpensive texture data to derive an albedo estimation by eliminating illumination. To achieve this, we first collect large-scale ultra-high-resolution facial images and train a high-fidelity facial texture codebook. By using the FFHQ dataset and limited UV textures, we then fine-tune the encoder for texture reconstruction from the input image with adversarial supervision in both image and UV space. Finally, we train a cross-attention module and utilize group identity loss to learn the adaptation from facial texture to the albedo domain. Extensive experimentation has demonstrated that our method exhibits excellent generalizability and is capable of achieving high-fidelity results for in-the-wild facial albedo recovery. Our code, pre-trained weights, and training data will be made publicly available at https://hifialbedo.github.io/.
• Abstract（参考訳）: 近年の3次元顔復元法は形状推定において顕著な進歩を遂げているが,高忠実度顔アルベド再建はいまだに困難である。 既存の方法は、顔のアルベドマップを学習するために、高価なライトステージのキャプチャーデータに依存する。 しかし、被験者の多様性の欠如は、高忠実度の結果を回復する能力を制限する。 本稿では,新しい顔アルベド再構成モデルであるHiFiAlbedoについて述べる。 我々の重要な洞察は、アルベドマップが照明不変テクスチャマップであり、安価なテクスチャデータを用いて照明を排除してアルベド推定を導出することができることである。 そこで我々はまず,大規模な超高解像度顔画像を収集し,高忠実度顔テクスチャコードブックを訓練する。 FFHQデータセットと限られたUVテクスチャを用いて、入力画像からテクスチャ再構成のためのエンコーダを微調整し、画像とUV空間の両方で逆監督する。 最後に、顔のテクスチャからアルベド領域への適応を学習するために、クロスアテンションモジュールをトレーニングし、グループアイデンティティ損失を利用する。 広汎な実験により,本手法は優れた一般化性を示し,顔面アルベド回復のための高忠実度を達成できることが証明された。 私たちのコード、事前トレーニングされたウェイト、トレーニングデータはhttps://hifialbedo.github.io/で公開されます。

関連論文リスト

• Monocular Identity-Conditioned Facial Reflectance Reconstruction [71.90507628715388]
  既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。 我々は、UV空間ではなく画像空間で反射率を学習し、ID2Reflectanceというフレームワークを提案する。 本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。
  論文  参考訳（メタデータ） (2024-03-30T09:43:40Z)
• CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models [57.9771859175664]
  最近の生成優先法は、有望なブラインドフェイス修復性能を示している。 入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。 本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
  論文  参考訳（メタデータ） (2024-02-08T23:51:49Z)
• TIFace: Improving Facial Reconstruction through Tensorial Radiance Fields and Implicit Surfaces [34.090466325032686]
  本報告では,「人間の頭に対するビュー・シンセサイザー・チャレンジ」の第1位を確保したソリューションについて述べる。 人間の頭部の粗い視像を考慮に入れれば、この課題は、新しい視点から画像を合成することである。 テンソル放射場(T-Face)と暗示面(I-Face)による顔再構成を改善するTI-Faceを提案する。
  論文  参考訳（メタデータ） (2023-12-15T04:23:20Z)
• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• Self-supervised High-fidelity and Re-renderable 3D Facial Reconstruction from a Single Image [19.0074836183624]
  そこで本研究では,高品質な3次元顔の再構築を目的とした,新たな自己教師型学習フレームワークを提案する。 我々のフレームワークは質的比較と量的比較の両方において最先端のアプローチを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-11-16T08:10:24Z)
• Weakly-Supervised Photo-realistic Texture Generation for 3D Face Reconstruction [48.952656891182826]
  高忠実度3D顔テクスチャ生成についてはまだ研究されていない。 モデルはUVサンプリング器とUVジェネレータで構成される。 トレーニングは、3DMMテクスチャと入力顔テクスチャでブレンドされた擬似地上真実に基づいている。
  論文  参考訳（メタデータ） (2021-06-14T12:34:35Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks [32.859340851346786]
  本研究では,一眼レフ画像から高忠実度テクスチャで3次元顔形状を再構成する手法を提案する。 提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-03-12T08:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。