論文の概要: Facial Appearance Capture at Home with Patch-Level Reflectance Prior

• arxiv url: http://arxiv.org/abs/2506.03478v1
• Date: Wed, 04 Jun 2025 01:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.101489
• Title: Facial Appearance Capture at Home with Patch-Level Reflectance Prior
• Title（参考訳）: パッチ・レベル・リフレクタンスを先行した家庭における顔の出現状況
• Authors: Yuxuan Han, Junfeng Lyu, Kuan Sheng, Minghao Que, Qixuan Zhang, Lan Xu, Feng Xu,
• Abstract要約: 既存の顔画像キャプチャーは、スマートフォンで録画されたビデオから可視的な顔の反射を再構築することができる。 しかし、レクリエーションの質は、スタジオ録音に基づくものよりもはるかに劣っている。 本論文は,スマートフォンと懐中電灯を同時に配置した,新しい日常利用ソリューションを開発することで,そのギャップを埋めるものである。
• 参考スコア（独自算出の注目度）: 22.617970327125896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing facial appearance capture methods can reconstruct plausible facial reflectance from smartphone-recorded videos. However, the reconstruction quality is still far behind the ones based on studio recordings. This paper fills the gap by developing a novel daily-used solution with a co-located smartphone and flashlight video capture setting in a dim room. To enhance the quality, our key observation is to solve facial reflectance maps within the data distribution of studio-scanned ones. Specifically, we first learn a diffusion prior over the Light Stage scans and then steer it to produce the reflectance map that best matches the captured images. We propose to train the diffusion prior at the patch level to improve generalization ability and training stability, as current Light Stage datasets are in ultra-high resolution but limited in data size. Tailored to this prior, we propose a patch-level posterior sampling technique to sample seamless full-resolution reflectance maps from this patch-level diffusion model. Experiments demonstrate our method closes the quality gap between low-cost and studio recordings by a large margin, opening the door for everyday users to clone themselves to the digital world. Our code will be released at https://github.com/yxuhan/DoRA.
• Abstract（参考訳）: 既存の顔画像キャプチャーは、スマートフォンで録画されたビデオから可視的な顔の反射を再構築することができる。 しかし、レクリエーションの質は、スタジオ録音に基づくものよりもはるかに劣っている。 本論文は,スマートフォンと懐中電灯を同時に配置した,新しい日常利用ソリューションを開発することで,そのギャップを埋めるものである。 品質を高めるために,スタジオスキャンした画像のデータ分布における顔の反射率マップの解法を重要視した。 具体的には、まずLight Stageスキャンに先立って拡散を学習し、次にそれをステアリングして、キャプチャした画像に最もよくマッチする反射マップを生成する。 我々は、現在のLight Stageデータセットが超高解像度であるがデータサイズに制限があるため、パッチレベルでの拡散をトレーニングし、一般化能力とトレーニング安定性を向上させることを提案する。 本稿では, このパッチレベルの拡散モデルから, シームレスなフル解像度反射率マップをサンプリングするためのパッチレベルの後方サンプリング手法を提案する。 実験により,安価な録音とスタジオ録音の質のギャップを大きなマージンで埋めることが実証された。 私たちのコードはhttps://github.com/yxuhan/DoRA.comでリリースされます。

関連論文リスト

• OSCAR: One-Step Diffusion Codec for Image Compression Across Multiple Bit-rates [52.65036099944483]
  事前訓練された潜伏拡散モデルでは、画像圧縮が失われる可能性が強い。 既存の手法のほとんどは、ランダムノイズから反復的にデノイングすることで、イメージを再構成する。 我々はOSCARと呼ばれる複数のビットレートにまたがる1ステップ拡散を提案する。
  論文  参考訳（メタデータ） (2025-05-22T00:14:12Z)
• Zero-Shot Video Restoration and Enhancement Using Pre-Trained Image Diffusion Model [15.170889156729777]
  本稿では,事前学習した画像拡散モデルに基づいて,ゼロショット映像の復元と拡張を行うための第1のフレームワークを提案する。 本手法は,任意の拡散型画像復元・拡張手法に挿入可能なプラグアンドプレイモジュールである。
  論文  参考訳（メタデータ） (2024-07-02T05:31:59Z)
• Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
  Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。 提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。 画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T23:38:12Z)
• Monocular Identity-Conditioned Facial Reflectance Reconstruction [71.90507628715388]
  既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。 我々は、UV空間ではなく画像空間で反射率を学習し、ID2Reflectanceというフレームワークを提案する。 本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。
  論文  参考訳（メタデータ） (2024-03-30T09:43:40Z)
• CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models [57.9771859175664]
  最近の生成優先法は、有望なブラインドフェイス修復性能を示している。 入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。 本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
  論文  参考訳（メタデータ） (2024-02-08T23:51:49Z)
• Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
  本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。 未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。 大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
  論文  参考訳（メタデータ） (2023-03-24T04:03:55Z)
• Unsupervised Low-Light Image Enhancement via Histogram Equalization Prior [40.61944814314655]
  HEP (Equalization prior) と呼ばれる実効的事前ヒストグラムに基づく教師なし低照度画像強調手法を提案する。 反射率マップのノイズと内容を、未確認クリーンな画像の信頼性のある助けを借りてアンタングルするノイズ・ディアンタングメント・モジュール(NDM)を導入する。 本手法は、最先端の教師なし低照度化アルゴリズムに対して好適に動作し、最先端の教師付きアルゴリズムに適合する。
  論文  参考訳（メタデータ） (2021-12-03T07:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。