論文の概要: Monocular Identity-Conditioned Facial Reflectance Reconstruction

• arxiv url: http://arxiv.org/abs/2404.00301v1
• Date: Sat, 30 Mar 2024 09:43:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 04:30:18.833375
• Title: Monocular Identity-Conditioned Facial Reflectance Reconstruction
• Title（参考訳）: 単眼的一眼性顔面反射再建術
• Authors: Xingyu Ren, Jiankang Deng, Yuhao Cheng, Jia Guo, Chao Ma, Yichao Yan, Wenhan Zhu, Xiaokang Yang,
• Abstract要約: 既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。 我々は、UV空間ではなく画像空間で反射率を学習し、ID2Reflectanceというフレームワークを提案する。 本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。
• 参考スコア（独自算出の注目度）: 71.90507628715388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent 3D face reconstruction methods have made remarkable advancements, yet there remain huge challenges in monocular high-quality facial reflectance reconstruction. Existing methods rely on a large amount of light-stage captured data to learn facial reflectance models. However, the lack of subject diversity poses challenges in achieving good generalization and widespread applicability. In this paper, we learn the reflectance prior in image space rather than UV space and present a framework named ID2Reflectance. Our framework can directly estimate the reflectance maps of a single image while using limited reflectance data for training. Our key insight is that reflectance data shares facial structures with RGB faces, which enables obtaining expressive facial prior from inexpensive RGB data thus reducing the dependency on reflectance data. We first learn a high-quality prior for facial reflectance. Specifically, we pretrain multi-domain facial feature codebooks and design a codebook fusion method to align the reflectance and RGB domains. Then, we propose an identity-conditioned swapping module that injects facial identity from the target image into the pre-trained autoencoder to modify the identity of the source reflectance image. Finally, we stitch multi-view swapped reflectance images to obtain renderable assets. Extensive experiments demonstrate that our method exhibits excellent generalization capability and achieves state-of-the-art facial reflectance reconstruction results for in-the-wild faces. Our project page is https://xingyuren.github.io/id2reflectance/.
• Abstract（参考訳）: 近年の3次元顔再構成法は目覚ましい進歩を遂げているが, 単眼の高品質顔反射再建には大きな課題が残っている。 既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。 しかし、主題の多様性の欠如は、優れた一般化と広範な適用性を達成する上での課題となっている。 本稿では,UV空間ではなく画像空間の反射率を学習し,ID2Reflectanceというフレームワークを提案する。 本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。 我々の重要な洞察は、リフレクタンスデータがRGBの顔と顔構造を共有することである。 私たちはまず、顔の反射率について高品質な事前学習をする。 具体的には、複数ドメインの顔の特徴コードブックを事前訓練し、リフレクタンスとRGBドメインを整列するコードブック融合法を設計する。 そこで本研究では,対象画像からの顔認証を事前学習したオートエンコーダに注入し,音源反射率画像の同一性を変更するアイデンティティ条件付きスワップモジュールを提案する。 最後に,マルチビュースワップされたリフレクタンス画像を縫い合わせ,レンダリング可能なアセットを得る。 広汎な実験により,本手法は優れた一般化能力を示し,最先端の顔反射率再構成結果が得られた。 私たちのプロジェクトページはhttps://xingyuren.github.io/id2reflectance/です。

関連論文リスト

• Planar Reflection-Aware Neural Radiance Fields [32.709468082010126]
  我々は、窓などの平面反射体を共同でモデル化し、反射光を明示的に鋳造して高周波反射源を捉える反射型NeRFを提案する。 一次光線に沿ってレンダリングすると、きれいで反射のないビューとなり、一方、反射光線に沿って明示的にレンダリングすることで、非常に詳細な反射を再構成することができる。
  論文  参考訳（メタデータ） (2024-11-07T18:55:08Z)
• Robust Geometry and Reflectance Disentanglement for 3D Face Reconstruction from Sparse-view Images [12.648827250749587]
  本稿では,スパースビュー画像から人間の顔を再構成するための新しい2段階のアプローチを提案する。 本手法は, 周囲光からの形状, 拡散反射, スペクトル反射など, 顔の特徴を分解することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-12-11T03:14:58Z)
• Single Image Reflection Removal with Reflection Intensity Prior Knowledge [14.335849624907611]
  本稿では、反射現象の強度を捉えるための一般的な反射強度を提案する。 画像の領域パッチへの分割により、RPENは画像に先立って一様でない反射を学習する。 本稿では, 単純なトランスフォーマU-Netアーキテクチャを用いて, プリエントベース反射除去ネットワーク(PRRN)を提案する。
  論文  参考訳（メタデータ） (2023-12-06T14:52:11Z)
• Revisiting Single Image Reflection Removal In the Wild [83.42368937164473]
  本研究は,実環境におけるシングルイメージリフレクション除去(SIRR)の問題に焦点をあてる。 我々は,様々な現実世界のリフレクションシナリオに高度に適用可能な,高度なリフレクション収集パイプラインを考案した。 野生での反射除去(RRW)と呼ばれる大規模で高品質な反射データセットを開発する。
  論文  参考訳（メタデータ） (2023-11-29T02:31:10Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)
• Monocular Reconstruction of Neural Face Reflectance Fields [0.0]
  顔の反射場は、複雑な照明効果の原因となる反射特性を記述する。 モノクル画像から顔の反射率を推定する既存の手法は、特異成分を加えるアプローチはほとんどないが、顔は拡散していると仮定している。 顔反射に対する新しいニューラル表現法を提案し、単一の単眼画像から最終出現に寄与する反射の全ての成分を推定する。
  論文  参考訳（メタデータ） (2020-08-24T08:19:05Z)
• Polarized Reflection Removal with Perfect Alignment in the Wild [66.48211204364142]
  野生の偏光画像からの反射を除去するための新しい定式化法を提案する。 まず、既存のリフレクション除去データセットの不整合問題を同定する。 我々は100種類以上のガラスを用いた新しいデータセットを構築し、得られた透過画像は入力された混合画像と完全に一致している。
  論文  参考訳（メタデータ） (2020-03-28T13:29:31Z)
• Single image reflection removal via learning with multi-image constraints [50.54095311597466]
  本稿では、上記のアプローチの利点を組み合わせ、その欠点を克服する新しい学習ベースソリューションを提案する。 提案アルゴリズムはディープニューラルネットワークを学習して、複数の入力画像間で強化されたジョイント制約でターゲットを最適化する。 我々のアルゴリズムは実画像上でリアルタイムかつ最先端の反射除去性能で動作する。
  論文  参考訳（メタデータ） (2019-12-08T06:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。