論文の概要: RealDenseFace: Real-time Monocular 3D Face Reconstruction from Dense UV-space Priors

• arxiv url: http://arxiv.org/abs/2608.09238v1
• Date: Mon, 10 Aug 2026 08:04:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.136214
• Title: RealDenseFace: Real-time Monocular 3D Face Reconstruction from Dense UV-space Priors
• Title（参考訳）: RealDenseFace:高密度UV空間からのリアルタイムモノクロ3D顔再構成
• Abstract要約: 本稿では,高密度UV空間ネットワーク予測を用いたリアルタイム最適化に基づく3次元顔再構成手法であるRealDenseFaceを提案する。 提案手法は,NeRSemble SVFRベンチマークにおける最先端の精度を実現する。
• 参考スコア（独自算出の注目度）: 28.196602417641927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent monocular 3D face reconstruction methods achieve high fidelity by fitting a 3D Morphable Model (3DMM) to dense priors predicted by networks, but the optimization stage is computationally expensive, often taking tens of seconds per image. We present RealDenseFace, a real-time optimization-based 3D face reconstruction method with dense UV-space network predictions. Our key idea is to formulate 3DMM fitting as a nonlinear least-squares problem and solve it with a tailored Gauss-Newton solver that converges in only a few iterations. The reconstruction is conducted in two stages. In the first stage, the network predicts two dense UV-space maps from a single RGB image: a correspondence map for UV-to-image alignment, and a relative-depth map for geometric constraints along the viewing direction. In the second stage, the solver fits per-vertex targets sampled from these maps at the vertex UV coordinates. The solver supports all three reconstruction settings: single-image fitting, offline sequence reconstruction, and online tracking. Our method achieves state-of-the-art accuracy on the NeRSemble SVFR benchmark. The online tracker runs at 80+ FPS, and the offline sequence reconstruction is over 20 times faster than previous optimization-based baselines.
• Abstract（参考訳）: 近年のモノクローナル3次元顔再構成法は,ネットワークによって予測される高密度の先行値に3次元モーフィブルモデル(3DMM)を組み込むことで高忠実度を実現するが,最適化段階は計算コストが高く,画像1枚につき数十秒を要することが多い。 本稿では,高密度UV空間ネットワーク予測を用いたリアルタイム最適化に基づく3次元顔再構成手法であるRealDenseFaceを提案する。 我々のキーとなるアイデアは、非線形最小二乗問題として3DMMフィッティングを定式化し、ほんの数イテレーションで収束する調整されたガウスニュートンソルバで解くことである。 再建は2段階で行われる。 最初の段階では、単一のRGB画像から、UV-to-imageアライメントの対応マップと、視方向に沿った幾何的制約の相対深度マップの2つの高密度なUV-スペースマップを予測する。 第2段階では、解法は、頂点UV座標でこれらの地図からサンプリングされた頂点ごとの目標に適合する。 このソルバは、シングルイメージフィッティング、オフラインシーケンス再構築、オンライントラッキングの3つの再構成設定をサポートする。 提案手法は,NeRSemble SVFRベンチマークにおいて最先端の精度を実現する。 オンライントラッカーは80FPS以上で動作し、オフラインシーケンスの再構築は以前の最適化ベースのベースラインの20倍以上高速である。

関連論文リスト

• Pseudo Depth Meets Gaussian: A Feed-forward RGB SLAM Baseline [64.42938561167402]
  本稿では,3次元ガウス型SLAMとフィードフォワードリカレント予測モジュールを組み合わせたオンライン3次元再構成手法を提案する。 このアプローチは、遅いテスト時間の最適化を高速なネットワーク推論に置き換え、トラッキング速度を大幅に改善する。 提案手法は,最先端のSplaTAMと同等の性能を示しながら,追跡時間を90%以上削減する。
  論文  参考訳（メタデータ） (2025-08-06T16:16:58Z)
• InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
  InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。 InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。 3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
  論文  参考訳（メタデータ） (2024-03-29T17:29:58Z)
• Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction [153.52406455209538]
  Gambaは、単一のビューイメージからエンドツーエンドの3D再構成モデルである。 1つのNVIDIA A100 GPUで0.05秒以内に再構築が完了する。
  論文  参考訳（メタデータ） (2024-03-27T17:40:14Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• SimpleRecon: 3D Reconstruction Without 3D Convolutions [21.952478592241]
  本稿では,高品質なマルチビュー深度予測に焦点をあてることによって,単純なオフザシェルフ深度融合による高精度な3次元再構成を実現することを示す。 提案手法は,ScanNetと7シーンの3次元再構成において,深度推定と近接的あるいは良好な3次元再構成のための最先端技術に対する大きなリードを達成している。
  論文  参考訳（メタデータ） (2022-08-31T09:46:34Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
  学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。 ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
  論文  参考訳（メタデータ） (2020-11-03T02:57:01Z)
• 3D Human Mesh Regression with Dense Correspondence [95.92326689172877]
  単一の2D画像から人体の3Dメッシュを推定することは、拡張現実や人間とロボットのインタラクションといった多くのアプリケーションにおいて重要なタスクである。 前者は畳み込みニューラルネットワーク(CNN)を用いて抽出した大域的画像特徴から3Dメッシュを再構成した。 本稿では,メッシュとUV空間の局所像特徴との密接な対応性を明確に確立する,DecoMRというモデルフリーな3次元メッシュ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T08:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。