論文の概要: Relightable 3D Head Portraits from a Smartphone Video
- arxiv url: http://arxiv.org/abs/2012.09963v1
- Date: Thu, 17 Dec 2020 22:49:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 07:21:50.306037
- Title: Relightable 3D Head Portraits from a Smartphone Video
- Title(参考訳): スマートフォンで撮影した3dヘッドポートレート
- Authors: Artem Sevastopolsky, Savva Ignatiev, Gonzalo Ferrer, Evgeny Burnaev,
Victor Lempitsky
- Abstract要約: 本稿では,人間の頭部の3D像を再現するシステムを提案する。
私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅で撮影したフレームのシーケンスで動作します。
ディープレンダリングネットワークは、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを後退させるように訓練される。
- 参考スコア(独自算出の注目度): 15.639140551193073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, a system for creating a relightable 3D portrait of a human head
is presented. Our neural pipeline operates on a sequence of frames captured by
a smartphone camera with the flash blinking (flash-no flash sequence). A coarse
point cloud reconstructed via structure-from-motion software and multi-view
denoising is then used as a geometric proxy. Afterwards, a deep rendering
network is trained to regress dense albedo, normals, and environmental lighting
maps for arbitrary new viewpoints. Effectively, the proxy geometry and the
rendering network constitute a relightable 3D portrait model, that can be
synthesized from an arbitrary viewpoint and under arbitrary lighting, e.g.
directional light, point light, or an environment map. The model is fitted to
the sequence of frames with human face-specific priors that enforce the
plausibility of albedo-lighting decomposition and operates at the interactive
frame rate. We evaluate the performance of the method under varying lighting
conditions and at the extrapolated viewpoints and compare with existing
relighting methods.
- Abstract(参考訳): 本研究は、人間の頭部の光沢ある3D肖像画を作成するシステムについて述べる。
私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅(フラッシュなしのフラッシュシーケンス)で撮影したフレームのシーケンスで動作します。
structure-from-motion software と multi-view denoising によって再構成された粗い点雲は、幾何学的なプロキシとして使われる。
その後、深いレンダリングネットワークを訓練して、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを復元する。
効果的に、プロキシジオメトリとレンダリングネットワークは、任意の視点から任意の照明下で合成可能な、再生可能な3dポートレートモデルを構成する。
方向光、点光、あるいは環境マップ。
このモデルは、アルベド光分解の可視性を強制する人間の顔特有の先行するフレーム列に適合し、対話的なフレームレートで動作させる。
異なる照明条件および外挿視点下での性能評価を行い,既存の照明法との比較を行った。
関連論文リスト
- Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF
Decomposition and Ray Tracing [18.132915517047632]
多視点画像からの材料・照明分解のための点ベースレンダリングフレームワークを提案する。
このフレームワークは、3Dポイントクラウドの編集、レイトレーシング、リアルタイムリライトを可能にする。
われわれのフレームワークはメッシュベースのグラフィクスパイプラインに革命をもたらす可能性を実証している。
論文 参考訳(メタデータ) (2023-11-27T18:07:58Z) - Personalized Video Relighting With an At-Home Light Stage [0.0]
我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザのビデオをキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
論文 参考訳(メタデータ) (2023-11-15T10:33:20Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳(メタデータ) (2023-10-26T16:13:00Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。
本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。
提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-03-24T17:59:56Z) - NARRATE: A Normal Assisted Free-View Portrait Stylizer [42.38374601073052]
NARRATEは、ポートレートライティングと視点をフォトリアリスティックな方法で同時に編集できる新しいパイプラインである。
実験により、NARRATEは、先行研究よりも、よりフォトリアリスティックで信頼性の高い結果が得られることを示した。
さまざまなAR/VRアプリケーションを支援するために,鮮明なフリービューの顔アニメーションと3D対応のライライザライゼーションを紹介した。
論文 参考訳(メタデータ) (2022-07-03T07:54:05Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳(メタデータ) (2022-05-19T06:44:37Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Deep Portrait Lighting Enhancement with 3D Guidance [24.01582513386902]
顔の3次元誘導に基づくポートレートライティング向上のための新しいディープラーニングフレームワークを提案する。
FFHQデータセットと画像内画像による実験結果から,提案手法は定量的な計測値と視覚的品質の両方の観点から,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-08-04T15:49:09Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。