論文の概要: FaceLift: Learning Generalizable Single Image 3D Face Reconstruction from Synthetic Heads

• arxiv url: http://arxiv.org/abs/2412.17812v2
• Date: Fri, 01 Aug 2025 03:09:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.454764
• Title: FaceLift: Learning Generalizable Single Image 3D Face Reconstruction from Synthetic Heads
• Title（参考訳）: FaceLift: 合成頭部から一般画像の3D顔再構成を学習する
• Authors: Weijie Lyu, Yi Zhou, Ming-Hsuan Yang, Zhixin Shu,
• Abstract要約: 1枚の画像から高画質の360度3Dヘッドを復元するための新しいフィードフォワードアプローチであるFaceLiftを提案する。 パイプラインはまずマルチビューの潜伏拡散モデルを用いて、1つの入力から一貫したサイドビューとバックビューを生成する。 FaceLiftは、アイデンティティ保存、ディテールリカバリ、レンダリング品質において、最先端の3D顔再構成方法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 54.24070918942727
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present FaceLift, a novel feed-forward approach for generalizable high-quality 360-degree 3D head reconstruction from a single image. Our pipeline first employs a multi-view latent diffusion model to generate consistent side and back views from a single facial input, which then feeds into a transformer-based reconstructor that produces a comprehensive 3D Gaussian splats representation. Previous methods for monocular 3D face reconstruction often lack full view coverage or view consistency due to insufficient multi-view supervision. We address this by creating a high-quality synthetic head dataset that enables consistent supervision across viewpoints. To bridge the domain gap between synthetic training data and real-world images, we propose a simple yet effective technique that ensures the view generation process maintains fidelity to the input by learning to reconstruct the input image alongside the view generation. Despite being trained exclusively on synthetic data, our method demonstrates remarkable generalization to real-world images. Through extensive qualitative and quantitative evaluations, we show that FaceLift outperforms state-of-the-art 3D face reconstruction methods on identity preservation, detail recovery, and rendering quality.
• Abstract（参考訳）: 単一の画像から高画質の360度3次元頭部再構成を実現するための新しいフィードフォワードアプローチであるFaceLiftを提案する。 パイプラインはまず,複数ビューの潜伏拡散モデルを用いて1つの顔入力から一貫した側面と背面のビューを生成し,それをトランスフォーマーベースの再構成器に入力し,総合的な3次元ガウススプラッツ表現を生成する。 従来のモノラルな3次元顔の再構成法は、多視点の監督が不十分なため、フルビューのカバレッジやビューの一貫性が欠如していることが多い。 我々は、視点をまたいだ一貫した監視を可能にする高品質な合成ヘッドデータセットを作成することで、この問題に対処する。 合成トレーニングデータと実世界の画像との領域ギャップを埋めるために、ビュー生成プロセスが入力に対する忠実さを確実に維持し、ビュー生成と共に入力画像を再構築する、という簡単な手法を提案する。 合成データに特化して訓練されているにもかかわらず,本手法は実世界の画像への顕著な一般化を示す。 定性的かつ定量的な評価により、FaceLiftは、アイデンティティの保存、ディテールリカバリ、レンダリング品質において最先端の3D顔再構成方法より優れていることを示す。

関連論文リスト

• DeOcc-1-to-3: 3D De-Occlusion from a Single Image via Self-Supervised Multi-View Diffusion [50.90541069907167]
  閉塞型マルチビュー生成のためのエンドツーエンドフレームワークであるDeOcc-1-to-3を提案する。 私たちの自己教師型トレーニングパイプラインは、隠蔽されたイメージペアと擬似地上構造ビューを活用して、モデル構造を意識した補完とビュー整合性を教える。
  論文  参考訳（メタデータ） (2025-06-26T17:58:26Z)
• 3D Face Reconstruction With Geometry Details From a Single Color Image Under Occluded Scenes [4.542616945567623]
  3D顔再構成技術は、自然かつ現実的に顔ステレオモデルを作成することを目的としている。 従来のディープ・フェイス・リコンストラクション・アプローチは、一般的に説得力のあるテクスチャを生成するために設計されている。 バンプマッピングを導入することで、3Dの顔を粗くするために中程度の細部を追加しました。
  論文  参考訳（メタデータ） (2024-12-25T15:16:02Z)
• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
  この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。 我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。 顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
  論文  参考訳（メタデータ） (2024-08-23T13:13:24Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360$^{\circ}$ [17.355141949293852]
  3次元頭部合成のための既存の3次元生成対向ネットワーク(GAN)は、正面近傍のビューに限られるか、大きなビュー角で3次元の一貫性を維持するのが困難である。 パノヘッド(PanoHead)は、360ドル(約3万3000円)で高画質のフルヘッド画像合成を可能にする最初の3D認識生成モデルである。
  論文  参考訳（メタデータ） (2023-03-23T06:54:34Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• ReFu: Refine and Fuse the Unobserved View for Detail-Preserving Single-Image 3D Human Reconstruction [31.782985891629448]
  シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。 提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
  論文  参考訳（メタデータ） (2022-11-09T09:14:11Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• Self-supervised High-fidelity and Re-renderable 3D Facial Reconstruction from a Single Image [19.0074836183624]
  そこで本研究では,高品質な3次元顔の再構築を目的とした,新たな自己教師型学習フレームワークを提案する。 我々のフレームワークは質的比較と量的比較の両方において最先端のアプローチを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-11-16T08:10:24Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images [47.18219551855583]
  そこで本研究では,フォトリアリスティックな回転面を合成可能な,教師なしのフレームワークを提案する。 私たちの重要な洞察は、3D空間の顔を前後に回転させ、2D平面に再レンダリングすることで、強力な自己スーパービジョンとして機能するということです。 我々の手法は、最先端の手法よりも優れた合成品質とアイデンティティの保存性を有する。
  論文  参考訳（メタデータ） (2020-03-18T09:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。