論文の概要: Learning a Delighting Prior for Facial Appearance Capture in the Wild

• arxiv url: http://arxiv.org/abs/2605.05636v1
• Date: Thu, 07 May 2026 03:43:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.50678
• Title: Learning a Delighting Prior for Facial Appearance Capture in the Wild
• Title（参考訳）: 野生の顔の表情を捉えるための喜びの事前学習
• Authors: Yuxuan Han, Xin Ming, Tianxiao Li, Zhuofan Shen, Qixuan Zhang, Lan Xu, Feng Xu,
• Abstract要約: 我々は、最適化を制約する前として、パラダイムを強力な喜びネットワークのトレーニングにシフトすることを提案する。 学習可能なソース認識トークンにコアネットワークを条件付けすることで、データセット固有のスタイルと物理的な喜びの原則を分離する。 マルチビューNeRSembleデータセットを,大規模な4K解像度リライトブルスキャンコレクションであるNeRSemble-Scanに変換する。
• 参考スコア（独自算出の注目度）: 34.89149093909672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality facial appearance capture has traditionally required costly studio recording. Recent works consider an in-the-wild smartphone-based setup; however, their model-based inverse rendering paradigm struggles with the complex disentanglement of reflectance from unknown illumination. To bridge this gap, we propose to shift the paradigm into training a powerful delighting network as a prior to constrain the optimization. We leverage the OLAT dataset and the rendered Light Stage scans for training, and propose Dataset Latent Modulation (DLM) to seamlessly integrate these heterogeneous data sources. Specifically, by conditioning the core network on learnable source-aware tokens, we decouple dataset-specific styles from physical delighting principles, enabling the emergence of a delighting prior that outperforms existing proprietary models. This powerful delighting prior enables a simple and automatic appearance capture pipeline that achieves high-quality reflectance estimation from casual video inputs, outperforming prior arts by a large margin. Furthermore, we leverage our appearance capture method to transform the multi-view NeRSemble dataset into NeRSemble-Scan, a large-scale collection of 4K-resolution relightable scans. By open-sourcing our model and the NeRSemble-Scan dataset, we democratize high-end facial capture and provide a new foundation for the research community to build photorealistic digital humans.
• Abstract（参考訳）: 高品質な顔の撮影には、伝統的にコストがかかるスタジオ記録が必要である。 近年の研究では、スマートフォンベースのセットアップが検討されているが、そのモデルベースの逆レンダリングパラダイムは、未知の照明からの反射の複雑な切り離しに苦慮している。 このギャップを埋めるために、最適化を制約する前として、パラダイムを強力な喜びネットワークのトレーニングにシフトすることを提案する。 我々は、OLATデータセットとレンダリングされたライトステージスキャンをトレーニングに利用し、これらの異種データソースをシームレスに統合するためのデータセット遅延変調(DLM)を提案する。 具体的には、学習可能なソース認識トークンにコアネットワークを条件付けすることで、データセット固有のスタイルを物理的に喜ばしい原則から切り離し、既存のプロプライエタリなモデルを上回る喜びの前の出現を可能にします。 この強力な喜びの先行は、カジュアルなビデオ入力から高品質なリフレクタンス推定を実現する、シンプルで自動的な外観キャプチャパイプラインを可能にする。 さらに,マルチビューNeRSembleデータセットを,大規模な4K解像度リライトブルスキャンコレクションであるNeRSemble-Scanに変換するために,外観キャプチャ手法を利用した。 我々のモデルとNeRSemble-Scanデータセットをオープンソース化することで、私たちはハイエンドの顔キャプチャーを民主化し、研究コミュニティがフォトリアリスティックなデジタル人間を構築するための新しい基盤を提供する。

関連論文リスト

• Leveraging Large-Scale Pretrained Spatial-Spectral Priors for General Zero-Shot Pansharpening [7.37033839561317]
  リモートセンシング画像融合のための既存のディープラーニング手法は、目に見えないデータセットに適用した場合、しばしば一般化の貧弱さに悩まされる。 本研究では,大規模なシミュレーションデータセットを活用して,頑健な空間スペクトル前処理を学習する,新しい事前学習戦略を提案する。 事前訓練されたモデルはゼロショットシナリオにおいて優れた結果が得られ、ワンショット設定における最小の実データによる顕著な適応能力を示す。
  論文  参考訳（メタデータ） (2025-12-02T10:56:26Z)
• 3DPR: Single Image 3D Portrait Relight using Generative Priors [101.74130664920868]
  3DPRは画像ベースのリライティングモデルであり、マルチビューのOne-Light-at-A-Time (OLAT)イメージから学習した生成的事前情報を活用する。 我々は,事前学習した画像データセットから学習した顔の幾何に先立ってリッチな情報を提供する,事前学習された生成ヘッドモデルの潜時空間を活用する。 我々のリフレクタンスネットワークは生成ヘッドモデルの潜在空間で動作し、比較的少数の光ステージ画像でリフレクタンスモデルを訓練することが可能である。
  論文  参考訳（メタデータ） (2025-10-17T17:37:42Z)
• SparseGS-W: Sparse-View 3D Gaussian Splatting in the Wild with Generative Priors [22.561786156613525]
  SparseGS-Wは,非制約画像から大規模シーンを合成する新しいフレームワークである。 我々は,高度にスパースな入力から得られる多視点情報の欠如を補うために,幾何学的先行と制約付き拡散の先行を利用する。 SparseGS-Wは、完全な参照メトリクスだけでなく、FID、ClipIQA、MUSIQなどの一般的な非参照メトリクスでも、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-25T08:40:40Z)
• LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
  本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。 具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。 遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
  論文  参考訳（メタデータ） (2023-12-02T04:31:51Z)
• UMat: Uncertainty-Aware Single Image High Resolution Material Capture [2.416160525187799]
  本研究では, 物体の単一拡散像から正規性, 特異性, 粗さを復元する学習手法を提案する。 本手法は材料デジタル化における不確実性をモデル化する問題に最初に対処する手法である。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)
• Energy-Inspired Self-Supervised Pretraining for Vision Models [36.70550531181131]
  エネルギーベースモデル(EBM)にインスパイアされた自己教師型ビジョンモデル事前学習フレームワークを導入する。 提案手法では,1つのネットワークの前方・後方通過としてエネルギー推定とデータ復元をモデル化する。 提案手法は,学習のエポックを極端に少なくして,同等で,さらに優れた性能を提供できることを示す。
  論文  参考訳（メタデータ） (2023-02-02T19:41:00Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。