論文の概要: 3DPR: Single Image 3D Portrait Relight using Generative Priors

• arxiv url: http://arxiv.org/abs/2510.15846v1
• Date: Fri, 17 Oct 2025 17:37:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.731026
• Title: 3DPR: Single Image 3D Portrait Relight using Generative Priors
• Title（参考訳）: 3DPR: 生成プリミティブを用いた単一画像3D画像のライティング
• Authors: Pramod Rao, Abhimitra Meka, Xilong Zhou, Gereon Fox, Mallikarjun B R, Fangneng Zhan, Tim Weyrich, Bernd Bickel, Hanspeter Pfister, Wojciech Matusik, Thabo Beeler, Mohamed Elgharib, Marc Habermann, Christian Theobalt,
• Abstract要約: 3DPRは画像ベースのリライティングモデルであり、マルチビューのOne-Light-at-A-Time (OLAT)イメージから学習した生成的事前情報を活用する。 我々は,事前学習した画像データセットから学習した顔の幾何に先立ってリッチな情報を提供する,事前学習された生成ヘッドモデルの潜時空間を活用する。 我々のリフレクタンスネットワークは生成ヘッドモデルの潜在空間で動作し、比較的少数の光ステージ画像でリフレクタンスモデルを訓練することが可能である。
• 参考スコア（独自算出の注目度）: 101.74130664920868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rendering novel, relit views of a human head, given a monocular portrait image as input, is an inherently underconstrained problem. The traditional graphics solution is to explicitly decompose the input image into geometry, material and lighting via differentiable rendering; but this is constrained by the multiple assumptions and approximations of the underlying models and parameterizations of these scene components. We propose 3DPR, an image-based relighting model that leverages generative priors learnt from multi-view One-Light-at-A-Time (OLAT) images captured in a light stage. We introduce a new diverse and large-scale multi-view 4K OLAT dataset of 139 subjects to learn a high-quality prior over the distribution of high-frequency face reflectance. We leverage the latent space of a pre-trained generative head model that provides a rich prior over face geometry learnt from in-the-wild image datasets. The input portrait is first embedded in the latent manifold of such a model through an encoder-based inversion process. Then a novel triplane-based reflectance network trained on our lightstage data is used to synthesize high-fidelity OLAT images to enable image-based relighting. Our reflectance network operates in the latent space of the generative head model, crucially enabling a relatively small number of lightstage images to train the reflectance model. Combining the generated OLATs according to a given HDRI environment maps yields physically accurate environmental relighting results. Through quantitative and qualitative evaluations, we demonstrate that 3DPR outperforms previous methods, particularly in preserving identity and in capturing lighting effects such as specularities, self-shadows, and subsurface scattering. Project Page: https://vcai.mpi-inf.mpg.de/projects/3dpr/
• Abstract（参考訳）: 単眼の肖像画を入力として与えられた人間の頭部を頼りに見るレンダリング小説は、本質的に制約の少ない問題である。 従来のグラフィックスの解決策は、入力画像を幾何学、材料、照明に明確に分解することであるが、これは、基礎となるモデルの複数の仮定と近似と、これらのシーンコンポーネントのパラメータ化によって制約される。 複数視点のワン・ライト・アット・ア・タイム(OLAT)画像から学習した生成的先行情報を利用する画像ベースのリライティングモデルである3DPRを提案する。 我々は,高周波数反射率の分布に先立って,高品質の学習を行うために,139人の被験者を対象に,多種多様な大規模多視点4K OLATデータセットを導入した。 我々は,事前学習した画像データセットから学習した顔の幾何に先立ってリッチな情報を提供する,事前学習された生成ヘッドモデルの潜時空間を活用する。 入力ポートレートは、まずエンコーダベースの反転プロセスを通じて、そのようなモデルの潜在多様体に埋め込まれる。 そして、我々の光ステージデータに基づいてトレーニングされた新しい三面体ベースの反射ネットワークを用いて、高忠実度OLAT画像を合成し、画像ベースのリライティングを可能にする。 我々のリフレクタンスネットワークは生成ヘッドモデルの潜在空間で動作し、比較的少数の光ステージ画像でリフレクタンスモデルを訓練することが可能である。 生成されたOLATを所定のHDRI環境マップに合わせると、物理的に正確な環境照明結果が得られる。 定量的および定性的評価により、3DPRは従来の手法よりも優れており、特にアイデンティティの保存や、特異性、自己陰影、地下散乱などの照明効果を捉えている。 プロジェクトページ:https://vcai.mpi-inf.mpg.de/projects/3dpr/

関連論文リスト

• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
  NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。 NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。 光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
  論文  参考訳（メタデータ） (2023-09-20T03:27:06Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• DiFaReli++: Diffusion Face Relighting with Consistent Cast Shadows [11.566896201650056]
  我々は,グローバル照明やキャストシャドウといった課題に対処するため,自然界における単一視点の顔のリライティングに新たなアプローチを導入する。 我々は、1つのネットワークパスだけを必要とする単発リライトフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
  本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。 われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。 近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
  論文  参考訳（メタデータ） (2022-10-10T12:57:12Z)
• Portrait Neural Radiance Fields from a Single Image [68.66958204066721]
  本稿では,単一のポートレートからニューラルラジアンス場(NeRF)を推定する手法を提案する。 体積密度を暗黙的にモデル化する多層パーセプトロン(MLP)の重みを事前に訓練することを提案する。 非知覚面の一般化を改善するため、3次元顔変形モデルによって近似される正準座標空間を訓練する。 本手法は,制御されたキャプチャを用いて定量的に評価し,実画像への一般化を実証し,最先端画像に対して良好な結果を示す。
  論文  参考訳（メタデータ） (2020-12-10T18:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。