論文の概要: Face Anything: 4D Face Reconstruction from Any Image Sequence

• arxiv url: http://arxiv.org/abs/2604.19702v1
• Date: Tue, 21 Apr 2026 17:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.9016
• Title: Face Anything: 4D Face Reconstruction from Any Image Sequence
• Title（参考訳）: 顔画像から4D顔を復元する「Face Anything」
• Authors: Umut Kocasari, Simon Giebenhain, Richard Shaw, Matthias Nießner,
• Abstract要約: そこで本研究では,正準顔点予測に基づく高忠実度4次元顔再構成の統一手法を提案する。 深度と標準座標を共同で予測することにより,正確な深度推定,時間的に安定な再構築,密度の高い3次元形状,頑健な顔点追跡が可能となる。
• 参考スコア（独自算出の注目度）: 49.395407357499074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate reconstruction and tracking of dynamic human faces from image sequences is challenging because non-rigid deformations, expression changes, and viewpoint variations occur simultaneously, creating significant ambiguity in geometry and correspondence estimation. We present a unified method for high-fidelity 4D facial reconstruction based on canonical facial point prediction, a representation that assigns each pixel a normalized facial coordinate in a shared canonical space. This formulation transforms dense tracking and dynamic reconstruction into a canonical reconstruction problem, enabling temporally consistent geometry and reliable correspondences within a single feed-forward model. By jointly predicting depth and canonical coordinates, our method enables accurate depth estimation, temporally stable reconstruction, dense 3D geometry, and robust facial point tracking within a single architecture. We implement this formulation using a transformer-based model that jointly predicts depth and canonical facial coordinates, trained using multi-view geometry data that non-rigidly warps into the canonical space. Extensive experiments on image and video benchmarks demonstrate state-of-the-art performance across reconstruction and tracking tasks, achieving approximately 3$\times$ lower correspondence error and faster inference than prior dynamic reconstruction methods, while improving depth accuracy by 16%. These results highlight canonical facial point prediction as an effective foundation for unified feed-forward 4D facial reconstruction.
• Abstract（参考訳）: 非剛性な変形、表現の変化、視点の変化が同時に起こるため、画像列からの動的人間の顔の正確な復元と追跡は困難であり、幾何学的および対応的推定において顕著な曖昧さを生み出している。 本研究では,各画素の正規化顔座標を共有正準空間に割り当てる表現である,正準顔点予測に基づく高忠実度4D顔再構成の統一手法を提案する。 この定式化は、濃密な追跡と動的再構成を標準的再構成問題に変換し、単一のフィードフォワードモデル内で時間的に一貫した幾何と信頼性のある対応を可能にする。 本手法は, 深度と標準座標の同時予測により, 正確な深度推定, 時間的に安定な再構成, 密度の高い3次元形状, 単一のアーキテクチャ内での頑健な顔点追跡を可能にする。 この定式化は,非剛性で正準空間に反する多視点幾何データを用いて,深度と正準顔座標を共同で予測する変圧器モデルを用いて実施する。 画像とビデオのベンチマークによる大規模な実験は、復元タスクと追跡タスクをまたいだ最先端のパフォーマンスを示し、約3$\times$低対応誤差を達成し、従来の動的再構成手法よりも高速な推論を実現し、深さ精度を16%向上させた。 これらの結果は、フィードフォワード4Dの顔再構成に有効な基礎として、標準的顔点予測を強調した。

関連論文リスト

• \textit{4DSurf}: High-Fidelity Dynamic Scene Surface Reconstruction [53.82595920033838]
  本稿では,ガウススプラッティング(GS)を用いた動的シーン表面再構成の問題に対処する。 汎用動的表面再構成のための新しい統一フレームワークである textit4DSurf' を提案する。 本手法は,シャンファー距離で49%,19%の最先端表面再構成法より優れる。
  論文  参考訳（メタデータ） (2026-03-30T06:09:37Z)
• Dens3R: A Foundation Model for 3D Geometry Prediction [44.13431776180547]
  Dens3Rは幾何学的密度予測のための3次元基礎モデルである。 画像対マッチング機能と本質的不変性モデリングを統合することにより、Dens3Rは複数の幾何学的量を正確に回帰する。
  論文  参考訳（メタデータ） (2025-07-22T07:22:30Z)
• DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction [67.13370009386635]
  そこで,Dual Point Map (DualPM)を導入し,同じ画像一点関連画素からオブジェクト上の3D位置へ,残りのポーズでオブジェクトの標準バージョンへ,一対の点マップを抽出する。 3次元再構成と3次元ポーズ推定はDualPMの予測に還元できることを示す。
  論文  参考訳（メタデータ） (2024-12-05T18:59:48Z)
• 3D Face Reconstruction with the Geometric Guidance of Facial Part Segmentation [28.104227855986185]
  3D Morphable Models (3DMM) は、様々なアプリケーションで有望な3D顔再構成を提供する。 既存の方法は、監督信号の欠陥により、極端な表情で顔を再構築するのに苦労している。 部分再投影距離損失(PRDL)は、顔部分のセグメンテーションを2Dポイントに変換し、再構成を画像面に再投影する。
  論文  参考訳（メタデータ） (2023-12-01T03:05:21Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
  多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。 各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
  論文  参考訳（メタデータ） (2021-01-06T13:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。