論文の概要: NeLF: Neural Light-transport Field for Portrait View Synthesis and
Relighting
- arxiv url: http://arxiv.org/abs/2107.12351v1
- Date: Mon, 26 Jul 2021 17:44:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 15:52:47.691781
- Title: NeLF: Neural Light-transport Field for Portrait View Synthesis and
Relighting
- Title(参考訳): NeLF: ポートレートビュー合成とリライトのためのニューラル光輸送場
- Authors: Tiancheng Sun, Kai-En Lin, Sai Bi, Zexiang Xu, Ravi Ramamoorthi
- Abstract要約: ニューラルネットワークを用いて3次元空間における光輸送場を予測し,予測されたNeural Light-Transport Field(NeLF)から新しい環境光の下で新しいカメラビューからポートレートを生成する。
提案手法は,入力として与えられた複数視点のポートレートを同時合成・照会し,最先端の結果を得る。
- 参考スコア(独自算出の注目度): 49.73715814270705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human portraits exhibit various appearances when observed from different
views under different lighting conditions. We can easily imagine how the face
will look like in another setup, but computer algorithms still fail on this
problem given limited observations. To this end, we present a system for
portrait view synthesis and relighting: given multiple portraits, we use a
neural network to predict the light-transport field in 3D space, and from the
predicted Neural Light-transport Field (NeLF) produce a portrait from a new
camera view under a new environmental lighting. Our system is trained on a
large number of synthetic models, and can generalize to different synthetic and
real portraits under various lighting conditions. Our method achieves
simultaneous view synthesis and relighting given multi-view portraits as the
input, and achieves state-of-the-art results.
- Abstract(参考訳): 人間の肖像画は、異なる照明条件下で異なる視点から見ると様々な外観を示す。
顔が別の設定でどのように見えるかは簡単に想像できますが、コンピュータアルゴリズムは限られた観察によってこの問題に失敗したままです。
本研究では,複数のポートレートが与えられたとき,ニューラルネットワークを用いて3次元空間における光移動場を予測し,予測されたニューラル光移動場(nelf)から新たな環境照明下でのカメラビューからポートレートを生成するシステムを提案する。
本システムは多くの合成モデルに基づいて訓練され、様々な照明条件下で様々な合成および実像に一般化することができる。
本手法は,与えられた多視点ポートレートを入力として,同時ビュー合成とリライトを行い,最先端の結果を得る。
関連論文リスト
- Relightable Neural Actor with Intrinsic Decomposition and Pose Control [85.89305777719495]
Relightable Neural Actorは、リライト可能なニューラルヒューマンモデルを学習するための、最初のビデオベース手法である。
我々は、ポーズ依存の衣服の変形をモデル化する乾燥密度場を持つアクターの幾何学を表現する。
我々は、新しい人間のポーズに対する最先端のリライティング結果を実証する。
論文 参考訳(メタデータ) (2023-12-18T14:30:13Z) - Semantic-aware Generation of Multi-view Portrait Drawings [16.854527555637063]
多視点の肖像画を合成するためのセマンティック・アウェア・ジェネレータ(SAGE)を提案する。
私たちのモチベーションは、顔のセマンティックラベルがビューに一貫性があり、描画技術と相関していることです。
SAGEは、既存の3D認識画像合成法と比較して、非常に優れた性能または高い競争性能を達成している。
論文 参考訳(メタデータ) (2023-05-04T07:48:27Z) - Few-shot Neural Radiance Fields Under Unconstrained Illumination [40.384916810850385]
入力された多視点画像と様々な照明条件を限定した実用的な環境下での新規ビューイメージの合成に挑戦する。
このタスクの先駆的な作業の1つであるNeRFは、制約された照明下で撮影された多視点画像の広範なセットを要求する。
我々は,多視点アルベド整合性を利用したExtremeNeRFを提案する。
論文 参考訳(メタデータ) (2023-03-21T10:32:27Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T17:15:58Z) - NARRATE: A Normal Assisted Free-View Portrait Stylizer [42.38374601073052]
NARRATEは、ポートレートライティングと視点をフォトリアリスティックな方法で同時に編集できる新しいパイプラインである。
実験により、NARRATEは、先行研究よりも、よりフォトリアリスティックで信頼性の高い結果が得られることを示した。
さまざまなAR/VRアプリケーションを支援するために,鮮明なフリービューの顔アニメーションと3D対応のライライザライゼーションを紹介した。
論文 参考訳(メタデータ) (2022-07-03T07:54:05Z) - Relightable 3D Head Portraits from a Smartphone Video [15.639140551193073]
本稿では,人間の頭部の3D像を再現するシステムを提案する。
私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅で撮影したフレームのシーケンスで動作します。
ディープレンダリングネットワークは、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを後退させるように訓練される。
論文 参考訳(メタデータ) (2020-12-17T22:49:02Z) - Portrait Neural Radiance Fields from a Single Image [68.66958204066721]
本稿では,単一のポートレートからニューラルラジアンス場(NeRF)を推定する手法を提案する。
体積密度を暗黙的にモデル化する多層パーセプトロン(MLP)の重みを事前に訓練することを提案する。
非知覚面の一般化を改善するため、3次元顔変形モデルによって近似される正準座標空間を訓練する。
本手法は,制御されたキャプチャを用いて定量的に評価し,実画像への一般化を実証し,最先端画像に対して良好な結果を示す。
論文 参考訳(メタデータ) (2020-12-10T18:59:59Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z) - Neural Light Transport for Relighting and View Synthesis [70.39907425114302]
シーンの光輸送(LT)は、異なる照明と視界の方向の下でどのように見えるかを記述する。
本研究では、既知の幾何学的性質のテクスチャアトラスに埋め込まれたLTの神経表現を学習するための半パラメトリック手法を提案する。
照明条件下では,従来観測されていた照度と視界を融合させて,同じシーンの新たなイメージを合成する方法を示す。
論文 参考訳(メタデータ) (2020-08-09T20:13:15Z) - Portrait Shadow Manipulation [37.414681268753526]
カジュアルに撮られた肖像画は、環境の最適下条件のため、光や影のぼやけに悩まされることが多い。
我々は、カジュアルな写真家にこの制御を一部与え、現実的で容易に制御可能な方法で、低照度な肖像画をポストキャプチャーに頼らせることができる計算手法を提案する。
我々のアプローチは、外部の物体が投げる異物の影を除去するニューラルネットワークと、被写体の特徴が投げる顔の影を和らげるニューラルネットワークと、照明率を改善するための合成フィリング光を加えることに依存している。
論文 参考訳(メタデータ) (2020-05-18T17:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。