論文の概要: Learning a Delighting Prior for Facial Appearance Capture in the Wild
- arxiv url: http://arxiv.org/abs/2605.05636v1
- Date: Thu, 07 May 2026 03:43:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.50678
- Title: Learning a Delighting Prior for Facial Appearance Capture in the Wild
- Title（参考訳）: 野生の顔の表情を捉えるための喜びの事前学習
- Abstract要約: 我々は、最適化を制約する前として、パラダイムを強力な喜びネットワークのトレーニングにシフトすることを提案する。
学習可能なソース認識トークンにコアネットワークを条件付けすることで、データセット固有のスタイルと物理的な喜びの原則を分離する。
マルチビューNeRSembleデータセットを,大規模な4K解像度リライトブルスキャンコレクションであるNeRSemble-Scanに変換する。
- 参考スコア（独自算出の注目度）: 34.89149093909672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-quality facial appearance capture has traditionally required costly studio recording. Recent works consider an in-the-wild smartphone-based setup; however, their model-based inverse rendering paradigm struggles with the complex disentanglement of reflectance from unknown illumination. To bridge this gap, we propose to shift the paradigm into training a powerful delighting network as a prior to constrain the optimization. We leverage the OLAT dataset and the rendered Light Stage scans for training, and propose Dataset Latent Modulation (DLM) to seamlessly integrate these heterogeneous data sources. Specifically, by conditioning the core network on learnable source-aware tokens, we decouple dataset-specific styles from physical delighting principles, enabling the emergence of a delighting prior that outperforms existing proprietary models. This powerful delighting prior enables a simple and automatic appearance capture pipeline that achieves high-quality reflectance estimation from casual video inputs, outperforming prior arts by a large margin. Furthermore, we leverage our appearance capture method to transform the multi-view NeRSemble dataset into NeRSemble-Scan, a large-scale collection of 4K-resolution relightable scans. By open-sourcing our model and the NeRSemble-Scan dataset, we democratize high-end facial capture and provide a new foundation for the research community to build photorealistic digital humans.
- Abstract（参考訳）: 高品質な顔の撮影には、伝統的にコストがかかるスタジオ記録が必要である。
近年の研究では、スマートフォンベースのセットアップが検討されているが、そのモデルベースの逆レンダリングパラダイムは、未知の照明からの反射の複雑な切り離しに苦慮している。
このギャップを埋めるために、最適化を制約する前として、パラダイムを強力な喜びネットワークのトレーニングにシフトすることを提案する。
我々は、OLATデータセットとレンダリングされたライトステージスキャンをトレーニングに利用し、これらの異種データソースをシームレスに統合するためのデータセット遅延変調(DLM)を提案する。
具体的には、学習可能なソース認識トークンにコアネットワークを条件付けすることで、データセット固有のスタイルを物理的に喜ばしい原則から切り離し、既存のプロプライエタリなモデルを上回る喜びの前の出現を可能にします。
この強力な喜びの先行は、カジュアルなビデオ入力から高品質なリフレクタンス推定を実現する、シンプルで自動的な外観キャプチャパイプラインを可能にする。
さらに,マルチビューNeRSembleデータセットを,大規模な4K解像度リライトブルスキャンコレクションであるNeRSemble-Scanに変換するために,外観キャプチャ手法を利用した。
我々のモデルとNeRSemble-Scanデータセットをオープンソース化することで、私たちはハイエンドの顔キャプチャーを民主化し、研究コミュニティがフォトリアリスティックなデジタル人間を構築するための新しい基盤を提供する。
関連論文リスト
- WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting [1.4145309506833206]
WildRelightは、単一イメージのリライトモデルを評価するために特別に作成された、最初のWildデータセットです。
このデータセットにより、合成モデルが実世界の統計とリアルタイムで一致し、難解なsim-to-real課題を抽出可能な自己管理タスクに変換できることが示される。
論文 参考訳（メタデータ） (2026-05-12T07:53:27Z) - Leveraging Large-Scale Pretrained Spatial-Spectral Priors for General Zero-Shot Pansharpening [7.37033839561317]
リモートセンシング画像融合のための既存のディープラーニング手法は、目に見えないデータセットに適用した場合、しばしば一般化の貧弱さに悩まされる。
本研究では,大規模なシミュレーションデータセットを活用して,頑健な空間スペクトル前処理を学習する,新しい事前学習戦略を提案する。
事前訓練されたモデルはゼロショットシナリオにおいて優れた結果が得られ、ワンショット設定における最小の実データによる顕著な適応能力を示す。
論文 参考訳（メタデータ） (2025-12-02T10:56:26Z) - 3DPR: Single Image 3D Portrait Relight using Generative Priors [101.74130664920868]
3DPRは画像ベースのリライティングモデルであり、マルチビューのOne-Light-at-A-Time (OLAT)イメージから学習した生成的事前情報を活用する。
我々は,事前学習した画像データセットから学習した顔の幾何に先立ってリッチな情報を提供する,事前学習された生成ヘッドモデルの潜時空間を活用する。
我々のリフレクタンスネットワークは生成ヘッドモデルの潜在空間で動作し、比較的少数の光ステージ画像でリフレクタンスモデルを訓練することが可能である。
論文 参考訳（メタデータ） (2025-10-17T17:37:42Z) - Towards Realistic Low-Light Image Enhancement via ISP Driven Data Modeling [61.95831392879045]
深部ニューラルネットワーク(DNN)は近年,低照度画像強調(LLIE)の先導手法となっている。
大幅な進歩にもかかわらず、彼らの出力は、増幅ノイズ、誤ったホワイトバランス、または現実世界のアプリケーションに展開する際の不自然な拡張のような問題を示す可能性がある。
重要な課題は、低照度条件と撮像パイプラインの複雑さを捉える多様な大規模トレーニングデータの欠如である。
本稿では,この課題に対処し,無制限にペア化されたトレーニングデータを生成する,新しい画像信号処理(ISP)駆動型データ合成パイプラインを提案する。
論文 参考訳（メタデータ） (2025-04-16T15:53:53Z) - SparseGS-W: Sparse-View 3D Gaussian Splatting in the Wild with Generative Priors [22.561786156613525]
SparseGS-Wは,非制約画像から大規模シーンを合成する新しいフレームワークである。
我々は,高度にスパースな入力から得られる多視点情報の欠如を補うために,幾何学的先行と制約付き拡散の先行を利用する。
SparseGS-Wは、完全な参照メトリクスだけでなく、FID、ClipIQA、MUSIQなどの一般的な非参照メトリクスでも、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-25T08:40:40Z) - IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。
従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。
IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
論文 参考訳（メタデータ） (2024-12-16T18:52:56Z) - LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
論文 参考訳（メタデータ） (2023-12-02T04:31:51Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳（メタデータ） (2023-08-31T04:58:17Z) - UMat: Uncertainty-Aware Single Image High Resolution Material Capture [2.416160525187799]
本研究では, 物体の単一拡散像から正規性, 特異性, 粗さを復元する学習手法を提案する。
本手法は材料デジタル化における不確実性をモデル化する問題に最初に対処する手法である。
論文 参考訳（メタデータ） (2023-05-25T17:59:04Z) - Energy-Inspired Self-Supervised Pretraining for Vision Models [36.70550531181131]
エネルギーベースモデル(EBM)にインスパイアされた自己教師型ビジョンモデル事前学習フレームワークを導入する。
提案手法では,1つのネットワークの前方・後方通過としてエネルギー推定とデータ復元をモデル化する。
提案手法は,学習のエポックを極端に少なくして,同等で,さらに優れた性能を提供できることを示す。
論文 参考訳（メタデータ） (2023-02-02T19:41:00Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。