論文の概要: NeLF: Neural Light-transport Field for Portrait View Synthesis and Relighting

• arxiv url: http://arxiv.org/abs/2107.12351v1
• Date: Mon, 26 Jul 2021 17:44:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 15:52:47.691781
• Title: NeLF: Neural Light-transport Field for Portrait View Synthesis and Relighting
• Title（参考訳）: NeLF: ポートレートビュー合成とリライトのためのニューラル光輸送場
• Authors: Tiancheng Sun, Kai-En Lin, Sai Bi, Zexiang Xu, Ravi Ramamoorthi
• Abstract要約: ニューラルネットワークを用いて3次元空間における光輸送場を予測し,予測されたNeural Light-Transport Field(NeLF)から新しい環境光の下で新しいカメラビューからポートレートを生成する。 提案手法は,入力として与えられた複数視点のポートレートを同時合成・照会し,最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 49.73715814270705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human portraits exhibit various appearances when observed from different views under different lighting conditions. We can easily imagine how the face will look like in another setup, but computer algorithms still fail on this problem given limited observations. To this end, we present a system for portrait view synthesis and relighting: given multiple portraits, we use a neural network to predict the light-transport field in 3D space, and from the predicted Neural Light-transport Field (NeLF) produce a portrait from a new camera view under a new environmental lighting. Our system is trained on a large number of synthetic models, and can generalize to different synthetic and real portraits under various lighting conditions. Our method achieves simultaneous view synthesis and relighting given multi-view portraits as the input, and achieves state-of-the-art results.
• Abstract（参考訳）: 人間の肖像画は、異なる照明条件下で異なる視点から見ると様々な外観を示す。 顔が別の設定でどのように見えるかは簡単に想像できますが、コンピュータアルゴリズムは限られた観察によってこの問題に失敗したままです。 本研究では,複数のポートレートが与えられたとき,ニューラルネットワークを用いて3次元空間における光移動場を予測し,予測されたニューラル光移動場(nelf)から新たな環境照明下でのカメラビューからポートレートを生成するシステムを提案する。 本システムは多くの合成モデルに基づいて訓練され、様々な照明条件下で様々な合成および実像に一般化することができる。 本手法は,与えられた多視点ポートレートを入力として,同時ビュー合成とリライトを行い,最先端の結果を得る。

関連論文リスト

• Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
  ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。 我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。 本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-24T01:34:11Z)
• Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
  人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。 我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。 次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
  論文  参考訳（メタデータ） (2024-10-01T12:24:50Z)
• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• Semantic-aware Generation of Multi-view Portrait Drawings [16.854527555637063]
  多視点の肖像画を合成するためのセマンティック・アウェア・ジェネレータ(SAGE)を提案する。 私たちのモチベーションは、顔のセマンティックラベルがビューに一貫性があり、描画技術と相関していることです。 SAGEは、既存の3D認識画像合成法と比較して、非常に優れた性能または高い競争性能を達成している。
  論文  参考訳（メタデータ） (2023-05-04T07:48:27Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• NARRATE: A Normal Assisted Free-View Portrait Stylizer [42.38374601073052]
  NARRATEは、ポートレートライティングと視点をフォトリアリスティックな方法で同時に編集できる新しいパイプラインである。 実験により、NARRATEは、先行研究よりも、よりフォトリアリスティックで信頼性の高い結果が得られることを示した。 さまざまなAR/VRアプリケーションを支援するために,鮮明なフリービューの顔アニメーションと3D対応のライライザライゼーションを紹介した。
  論文  参考訳（メタデータ） (2022-07-03T07:54:05Z)
• Relightable 3D Head Portraits from a Smartphone Video [15.639140551193073]
  本稿では,人間の頭部の3D像を再現するシステムを提案する。 私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅で撮影したフレームのシーケンスで動作します。 ディープレンダリングネットワークは、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを後退させるように訓練される。
  論文  参考訳（メタデータ） (2020-12-17T22:49:02Z)
• Portrait Neural Radiance Fields from a Single Image [68.66958204066721]
  本稿では,単一のポートレートからニューラルラジアンス場(NeRF)を推定する手法を提案する。 体積密度を暗黙的にモデル化する多層パーセプトロン(MLP)の重みを事前に訓練することを提案する。 非知覚面の一般化を改善するため、3次元顔変形モデルによって近似される正準座標空間を訓練する。 本手法は,制御されたキャプチャを用いて定量的に評価し,実画像への一般化を実証し,最先端画像に対して良好な結果を示す。
  論文  参考訳（メタデータ） (2020-12-10T18:59:59Z)
• Neural Light Transport for Relighting and View Synthesis [70.39907425114302]
  シーンの光輸送(LT)は、異なる照明と視界の方向の下でどのように見えるかを記述する。 本研究では、既知の幾何学的性質のテクスチャアトラスに埋め込まれたLTの神経表現を学習するための半パラメトリック手法を提案する。 照明条件下では,従来観測されていた照度と視界を融合させて,同じシーンの新たなイメージを合成する方法を示す。
  論文  参考訳（メタデータ） (2020-08-09T20:13:15Z)
• Portrait Shadow Manipulation [37.414681268753526]
  カジュアルに撮られた肖像画は、環境の最適下条件のため、光や影のぼやけに悩まされることが多い。 我々は、カジュアルな写真家にこの制御を一部与え、現実的で容易に制御可能な方法で、低照度な肖像画をポストキャプチャーに頼らせることができる計算手法を提案する。 我々のアプローチは、外部の物体が投げる異物の影を除去するニューラルネットワークと、被写体の特徴が投げる顔の影を和らげるニューラルネットワークと、照明率を改善するための合成フィリング光を加えることに依存している。
  論文  参考訳（メタデータ） (2020-05-18T17:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。