論文の概要: Face Relighting with Geometrically Consistent Shadows

• arxiv url: http://arxiv.org/abs/2203.16681v1
• Date: Wed, 30 Mar 2022 21:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 15:06:32.943268
• Title: Face Relighting with Geometrically Consistent Shadows
• Title（参考訳）: 幾何学的に一貫した影による顔の照明
• Authors: Andrew Hou, Michel Sarkis, Ning Bi, Yiying Tong, Xiaoming Liu
• Abstract要約: レイトレーシングに基づくハードシャドウを合成するための新しい微分可能アルゴリズムを提案する。 提案アルゴリズムは、推定顔形状を直接利用して、幾何的に一貫した硬い影を合成する。
• 参考スコア（独自算出の注目度）: 24.059642361082343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most face relighting methods are able to handle diffuse shadows, but struggle to handle hard shadows, such as those cast by the nose. Methods that propose techniques for handling hard shadows often do not produce geometrically consistent shadows since they do not directly leverage the estimated face geometry while synthesizing them. We propose a novel differentiable algorithm for synthesizing hard shadows based on ray tracing, which we incorporate into training our face relighting model. Our proposed algorithm directly utilizes the estimated face geometry to synthesize geometrically consistent hard shadows. We demonstrate through quantitative and qualitative experiments on Multi-PIE and FFHQ that our method produces more geometrically consistent shadows than previous face relighting methods while also achieving state-of-the-art face relighting performance under directional lighting. In addition, we demonstrate that our differentiable hard shadow modeling improves the quality of the estimated face geometry over diffuse shading models.
• Abstract（参考訳）: ほとんどのフェイスライトは拡散した影を扱うことができるが、鼻で投げられた影のような硬い影を扱うのに苦労している。 ハードシャドウを扱う手法を提案する手法は、それらの合成中に推定された顔形状を直接利用しないため、幾何的に一貫したシャドウを生成しないことが多い。 本稿では,光線トレーシングに基づく影の合成のための新しい微分可能アルゴリズムを提案する。 提案アルゴリズムは、推定顔形状を直接利用して、幾何的に一貫した硬い影を合成する。 我々は,Multi-PIEとFFHQの定量的および定性的な実験を通して,従来よりも幾何的に一貫した影を生成するとともに,方向性照明下での最先端の顔照明性能を実現することを実証した。 さらに,我々の微分可能なハードシャドーモデリングにより,拡散陰影モデルよりも推定顔形状の品質が向上することを示す。

関連論文リスト

• Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
  影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。 影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。 この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
  論文  参考訳（メタデータ） (2024-07-11T20:58:38Z)
• Gaussian Shadow Casting for Neural Characters [20.78790953284832]
  本稿では,サンプリングを単純な解析式に置き換えたガウス密度プロキシを用いた新しい影モデルを提案する。 動的運動をサポートし、シャドウ計算用に調整されているため、近縁なガウススプラッティングで必要とされるアフィン射影近似やソートを避けることができる。 我々は、直射日光と硬い影を持つ屋外の挑戦シーンにおいて、アルベド、シェーディング、シャドウの分離性を向上し、改良された再構築を実演した。
  論文  参考訳（メタデータ） (2024-01-11T18:50:31Z)
• Controllable Shadow Generation Using Pixel Height Maps [58.59256060452418]
  物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。 深層学習に基づく影合成法は、光情報から物体の影へのマッピングを、影の幾何学を明示的にモデル化することなく学習する。 オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。
  論文  参考訳（メタデータ） (2022-07-12T08:29:51Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Towards Learning Neural Representations from Shadows [11.60149896896201]
  本稿では,シーンに存在する影のみから,ニューラルシーンの表現を学習する手法を提案する。 我々のフレームワークは高度に一般化可能であり、既存の3D再構成技術と協調して動作する。
  論文  参考訳（メタデータ） (2022-03-29T23:13:41Z)
• Neural Reflectance for Shape Recovery with Shadow Handling [88.67603644930466]
  本論文は,非ランベルト的かつ空間的に変化する表面材料を用いて,シーンの形状を復元することを目的とする。 本研究では, 未知の3次元形状と未知の面点の両方をパラメータ化するために, 座標に基づく深部反射率(多層パーセプトロン)を提案する。 このネットワークは、観測された光度差と表面上の影を利用して、表面形状と一般的な非ランベルト反射率の両方を回復することができる。
  論文  参考訳（メタデータ） (2022-03-24T07:57:20Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Towards High Fidelity Face Relighting with Realistic Shadows [21.09340135707926]
  提案手法では,光源画像と対象画像との比(商)を所望の照明で予測する。 トレーニング中、我々のモデルは推定影マスクを用いてシャドウを正確に修正することを学ぶ。 提案手法は,被験者の表情を忠実に維持し,硬い影を正確に処理できることを実証する。
  論文  参考訳（メタデータ） (2021-04-02T00:28:40Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。