論文の概要: UVFaceFusion: Fast Multi-view Topologically Consistent Face Reconstruction in the Wild via UV-space Neural Fusion
- arxiv url: http://arxiv.org/abs/2607.18798v1
- Date: Tue, 21 Jul 2026 07:24:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.347397
- Title: UVFaceFusion: Fast Multi-view Topologically Consistent Face Reconstruction in the Wild via UV-space Neural Fusion
- Title(参考訳): UVFaceFusion:UV空間ニューラルフュージョンによる野生における高速多視点トポロジカルな顔再構成
- Abstract要約: UVFaceFusionは、日常画像からの多視点固定位相顔再構成のためのフィードフォワードフレームワークである。
私たちのキーとなる考え方は、トポロジカルな最適化を、標準UV空間における学習可能なニューラルフュージョンに置き換えることです。
実験の結果,UVFaceFusionは16の入力ビューから3秒未満でメッシュを再構築しながら,最先端の再構築精度を実現することがわかった。
- 参考スコア(独自算出の注目度): 19.95550287456286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing high-fidelity facial geometry with an assigned topology is essential for digital avatar creation and animation, yet existing automated methods often trade off geometric fidelity and in-the-wild generalization. We present UVFaceFusion, a feed-forward framework for multi-view, fixed-topology face reconstruction from daily images. Our key idea is to replace heuristic topological optimization with learnable neural fusion in a canonical UV space. Given multi-view images, we first obtain dense point maps and facial UV correspondences of each view using VGGT and Pixel3DMM, respectively. Then, the view-specific point maps are lifted into the canonical UV domain and fused with a novel mask-aware neural fusion network. The network predicts a complete UV-space point map, from which a fixed-topology mesh is directly sampled. Although trained only on Ava-256, UVFaceFusion generalizes well to multiple public benchmarks and in-the-wild captures, benefiting from its canonical UV-space geometry-to-geometry fusion that reduces dependence on dataset-specific appearance and capture conditions. Experiments on various benchmarks show that UVFaceFusion achieves state-of-the-art reconstruction accuracy while reconstructing a mesh from 16 input views in less than 3 seconds on a single RTX 4090. Code is available at https://github.com/grignarder/UVFaceFusion.
- Abstract(参考訳): 高忠実度顔形状を割り当てられたトポロジで再構成することはデジタルアバターの作成とアニメーションに不可欠であるが、既存の自動手法は幾何学的忠実度とその内一般化をトレードオフすることが多い。
UVFaceFusionは、日常画像からの多視点固定位相顔再構成のためのフィードフォワードフレームワークである。
私たちのキーとなる考え方は、ヒューリスティックなトポロジカル最適化を、標準紫外線空間における学習可能なニューラルフュージョンに置き換えることです。
VGGTとPixel3DMMを用いて,多視点画像から各視点の高密度点マップと顔UV対応をそれぞれ取得する。
そして、ビュー固有のポイントマップを標準UVドメインに持ち上げ、新しいマスク対応神経融合ネットワークで融合する。
ネットワークは完全なUV空間の点マップを予測し、そこから固定位相メッシュを直接サンプリングする。
UVFaceFusionは、Ava-256でのみトレーニングされているが、複数の公開ベンチマークやWild内キャプチャによく対応しており、データセット固有の外観やキャプチャ条件への依存を減らすために、標準的なUV空間幾何-幾何学融合の恩恵を受けている。
様々なベンチマーク実験により、UVFaceFusionは、単一のRTX 4090上で16の入力ビューから3秒未満でメッシュを再構築しながら、最先端の再構築精度を達成することが示された。
コードはhttps://github.com/grignarder/UVFaceFusion.comで入手できる。
関連論文リスト
- GenRec: Knowing Where to Reconstruct and Where to Generate [106.48347271421765]
GenRecは、再構築世代をそのアーキテクチャ、監督、勾配フローに直接分割するフローマッチングモデルである。
観察された領域で最高の復元忠実度を達成し、また、観測されていない領域では、知覚的品質の純粋に生成的ベースラインを超越する。
論文 参考訳(メタデータ) (2026-08-18T14:31:19Z) - RealDenseFace: Real-time Monocular 3D Face Reconstruction from Dense UV-space Priors [28.196602417641927]
本稿では,高密度UV空間ネットワーク予測を用いたリアルタイム最適化に基づく3次元顔再構成手法であるRealDenseFaceを提案する。
提案手法は,NeRSemble SVFRベンチマークにおける最先端の精度を実現する。
論文 参考訳(メタデータ) (2026-08-10T08:04:36Z) - InpaintHuman: Reconstructing Occluded Humans with Multi-Scale UV Mapping and Identity-Preserving Diffusion Inpainting [64.42884719282323]
InpaintHumanは、モノクロビデオから高忠実で完全でアニマタブルなアバターを生成する新しい方法である。
我々のアプローチは、アイデンティティの忠実性を保証するために、直接ピクセルレベルの監視を採用する。
論文 参考訳(メタデータ) (2026-01-05T13:26:02Z) - VGGTFace: Topologically Consistent Facial Geometry Reconstruction in the Wild [19.22685211889589]
VGGTFaceは、3D基盤モデル、すなわちVGGTをトポロジ的に一貫した顔形状再構成に革新的に適用する自動アプローチである。
実験では、ベンチマークにおける最先端の結果と、ワイルドデータに対する印象的な一般化が示されている。
論文 参考訳(メタデータ) (2025-11-25T14:45:59Z) - SeqTex: Generate Mesh Textures in Video Sequence [62.766839821764144]
本稿では3次元テクスチャ生成モデルのトレーニングのための新しいエンドツーエンドフレームワークであるSeqTexを紹介する。
画像条件とテキスト条件の両テクスチャ生成タスクにおいて,SeqTexは最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-07-06T07:58:36Z) - Nuvo: Neural UV Mapping for Unruly 3D Representations [61.87715912587394]
既存のUVマッピングアルゴリズムは、最先端の3D再構成と生成技術によって生成された幾何学で動作する。
本稿では,3次元再構成と生成技術により生成された幾何学的手法を用いたUVマッピング手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T18:58:38Z) - High-Quality 3D Face Reconstruction with Affine Convolutional Networks [21.761247036523606]
3次元顔再構成では、入力画像(例えば顔)と標準/UV出力との間の空間的ずれが特徴符号化・復号処理を非常に困難にする。
我々は、空間的に非対応な入力および出力画像を扱うCNNベースのアプローチを可能にする新しいネットワークアーキテクチャ、すなわちAffine Convolution Networksを提案する。
提案手法はパラメトリックフリーであり,512×512ピクセルの解像度で高品質な紫外線マップを生成することができる。
論文 参考訳(メタデータ) (2023-10-22T09:04:43Z) - FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction [46.3392612457273]
このデータセットには、5万以上の高品質なテクスチャUVマップが含まれており、照度、中性表現、クリーンな顔領域がある。
我々のパイプラインは、StyleGANベースの顔画像編集アプローチの最近の進歩を活用している。
実験により,本手法は最先端手法よりも再現精度が向上することが示された。
論文 参考訳(メタデータ) (2022-11-25T03:21:05Z) - 3D Human Mesh Regression with Dense Correspondence [95.92326689172877]
単一の2D画像から人体の3Dメッシュを推定することは、拡張現実や人間とロボットのインタラクションといった多くのアプリケーションにおいて重要なタスクである。
前者は畳み込みニューラルネットワーク(CNN)を用いて抽出した大域的画像特徴から3Dメッシュを再構成した。
本稿では,メッシュとUV空間の局所像特徴との密接な対応性を明確に確立する,DecoMRというモデルフリーな3次元メッシュ推定フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-10T08:50:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。