論文の概要: Reconstructing Topology-Consistent Face Mesh by Volume Rendering from Multi-View Images
- arxiv url: http://arxiv.org/abs/2404.05606v2
- Date: Sun, 05 Oct 2025 12:15:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:58.14111
- Title: Reconstructing Topology-Consistent Face Mesh by Volume Rendering from Multi-View Images
- Title(参考訳): 多視点画像からのボリュームレンダリングによるトポロジ一貫性顔メッシュの再構築
- Authors: Yating Wang, Ran Yi, Xiaoning Lei, Ke Fan, Jinkun Hao, Lizhuang Ma,
- Abstract要約: 産業用3Dフェイスアセット作成は通常、下流生産のために多視点画像からトポロジに一貫性のあるフェイスメッシュを再構築する。
NeRFは3次元再構成において、シーンを密度場と放射場として表現することで大きな利点を示した。
多視点画像からアーティストが作ったテンプレートフェイスメッシュの形状を最適化するために,明示的メッシュとニューラルボリュームレンダリングを組み合わせた新しい手法を提案する。
- 参考スコア(独自算出の注目度): 71.20113392204183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Industrial 3D face assets creation typically reconstructs topology-consistent face meshes from multi-view images for downstream production. However, high-quality reconstruction usually requires manual processing or specific capture settings. Recently NeRF has shown great advantages in 3D reconstruction, by representing scenes as density and radiance fields and utilizing neural volume rendering for novel view synthesis. Inspired by this, we introduce a novel method which combines explicit mesh with neural volume rendering to optimize geometry of an artist-made template face mesh from multi-view images while keeping the topology unchanged. Our method derives density fields from meshes using distance fields as an intermediary and encodes radiance field in compact tri-planes. To improve convergence, several adaptions tailored for meshes are introduced to the volume rendering. Experiments demonstrate that our method achieves superior reconstruction quality compared to previous approaches, validating the feasibility of integrating mesh and neural volume rendering.
- Abstract(参考訳): 産業用3Dフェイスアセット作成は通常、下流生産のために多視点画像からトポロジに一貫性のあるフェイスメッシュを再構築する。
しかし、高品質な再構築は通常手動処理や特定のキャプチャ設定を必要とする。
最近、NeRFは、シーンを密度と放射場として表現し、ニューラルボリュームレンダリングを新しいビュー合成に活用することで、3次元再構成において大きな利点を示している。
そこで我々は,露骨メッシュとニューラルボリュームレンダリングを組み合わせることで,マルチビュー画像からアーティストが作ったテンプレートフェイスメッシュの形状を最適化し,トポロジを一定に保ったままにする方法を提案する。
本手法は距離場を中間体としてメッシュから密度場を導出し,コンパクトな三面体における放射場を符号化する。
コンバージェンスを改善するために、ボリュームレンダリングにメッシュ用に調整されたいくつかの適応を導入している。
提案手法は,メッシュとニューラルボリュームレンダリングの統合可能性を検証することによって,従来の手法よりも優れた再構成品質を実現することを示す。
関連論文リスト
- MoGaFace: Momentum-Guided and Texture-Aware Gaussian Avatars for Consistent Facial Geometry [3.0373043721834163]
MoGaFaceは、顔の形状とテクスチャ特性を継続的に洗練する、3Dヘッドアバターモデリングフレームワークである。
MoGaFaceは高忠実な頭部アバター再構成を実現し、新規な合成品質を著しく向上させる。
論文 参考訳(メタデータ) (2025-08-02T06:25:51Z) - GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
マルチビュー画像から3次元メッシュを再構成する手法を提案する。
提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
論文 参考訳(メタデータ) (2024-06-09T05:19:24Z) - 3D Facial Expressions through Analysis-by-Neural-Synthesis [30.2749903946587]
SMIRK(Spatial Modeling for Image-based Reconstruction of Kinesics)は、画像から表現力のある3次元顔を忠実に再構築する。
既存の手法では,自己指導型トレーニングの定式化における欠点と,訓練画像における表現の多様性の欠如の2つの重要な限界を識別する。
我々の質的,定量的,特に知覚的評価は、SMIRKが正確な表現再構成における新しい最先端技術を実現することを証明している。
論文 参考訳(メタデータ) (2024-04-05T14:00:07Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。
提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。
本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
論文 参考訳(メタデータ) (2022-03-18T01:42:59Z) - Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。
従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。
いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文 参考訳(メタデータ) (2021-12-05T07:02:53Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳(メタデータ) (2021-10-06T17:55:08Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。