論文の概要: Relighting4D: Neural Relightable Human from Videos

• arxiv url: http://arxiv.org/abs/2207.07104v1
• Date: Thu, 14 Jul 2022 17:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 14:15:01.848009
• Title: Relighting4D: Neural Relightable Human from Videos
• Title（参考訳）: Relighting4D: ビデオで見る人間
• Authors: Zhaoxi Chen and Ziwei Liu
• Abstract要約: 我々は、未知の照明下での人間の映像のみから自由視点のリライトを可能にする、原理化されたフレームワークRelighting4Dを提案する。 我々の重要な洞察は、人体の時空間的変化と反射性は、ニューラルネットワークの集合として分解できるということである。 フレームワーク全体は、正規化のために設計された物理的に情報を得た、自己管理的な方法でビデオから学習することができる。
• 参考スコア（独自算出の注目度）: 32.32424947454304
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human relighting is a highly desirable yet challenging task. Existing works either require expensive one-light-at-a-time (OLAT) captured data using light stage or cannot freely change the viewpoints of the rendered body. In this work, we propose a principled framework, Relighting4D, that enables free-viewpoints relighting from only human videos under unknown illuminations. Our key insight is that the space-time varying geometry and reflectance of the human body can be decomposed as a set of neural fields of normal, occlusion, diffuse, and specular maps. These neural fields are further integrated into reflectance-aware physically based rendering, where each vertex in the neural field absorbs and reflects the light from the environment. The whole framework can be learned from videos in a self-supervised manner, with physically informed priors designed for regularization. Extensive experiments on both real and synthetic datasets demonstrate that our framework is capable of relighting dynamic human actors with free-viewpoints.
• Abstract（参考訳）: 人間のリライトは非常に望ましいが難しい課題だ。 既存の作業は、ライトステージを使用した高価なワンライト・アット・ア・タイム(OLAT)キャプチャーデータを必要とするか、レンダリングされたボディの視点を自由に変更できないかのいずれかである。 本研究では,未知の照度下で人間の映像のみから自由視点で照らし出すための原則付きフレームワーク,relighting4dを提案する。 私たちの重要な洞察は、人体の時空変化の幾何学と反射は、正常、咬合、拡散、スペクティカルマップの神経場の集合として分解できるということです。 これらのニューラルフィールドは、リフレクタンスを意識した物理ベースのレンダリングにさらに統合され、ニューラルフィールドの各頂点が環境からの光を吸収して反射する。 フレームワーク全体は、正規化のために設計された物理的に情報を得た、自己管理的な方法でビデオから学習することができる。 実データと合成データの両方に関する広範囲な実験は、我々のフレームワークが、自由視点で動的ヒューマンアクタをリフレッシュできることを示しています。

関連論文リスト

• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Relightable and Animatable Neural Avatar from Sparse-View Video [66.77811288144156]
  本稿では、未知の照明下でのダイナミックな人間のスパースビュー(あるいはモノクラーク)ビデオから、リライザブルでアニマタブルなニューラルアバターを作成するという課題に取り組む。
  論文  参考訳（メタデータ） (2023-08-15T17:42:39Z)
• Relightable Neural Human Assets from Multi-view Gradient Illuminations [39.70530019396583]
  このUltraStageは、2000以上の高品質な人的資産をマルチビューとマルチイルミネーションの両方でキャプチャした、新しい3D人的データセットである。 ニューラル表現の最近の進歩に触発されて、我々はそれぞれの例を任意の照明条件下で新しいビュー合成を可能にするニューラルヒューマンアセットに解釈する。 我々の神経質な人的資産は極めて高い捕獲性能を達成でき、顔のしわや布の折りなどの細部を表現できることを示す。
  論文  参考訳（メタデータ） (2022-12-15T08:06:03Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)
• STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering [9.600908665766465]
  本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。 本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
  論文  参考訳（メタデータ） (2020-12-22T23:45:28Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。