論文の概要: Relightable Neural Actor with Intrinsic Decomposition and Pose Control
- arxiv url: http://arxiv.org/abs/2312.11587v2
- Date: Fri, 26 Jul 2024 13:16:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 18:31:34.078393
- Title: Relightable Neural Actor with Intrinsic Decomposition and Pose Control
- Title(参考訳): 固有分解とポス制御を併用したリラクタ型ニューラルアクチュエータ
- Authors: Diogo Luvizon, Vladislav Golyanik, Adam Kortylewski, Marc Habermann, Christian Theobalt,
- Abstract要約: 提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
- 参考スコア(独自算出の注目度): 80.06094206522668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating a controllable and relightable digital avatar from multi-view video with fixed illumination is a very challenging problem since humans are highly articulated, creating pose-dependent appearance effects, and skin as well as clothing require space-varying BRDF modeling. Existing works on creating animatible avatars either do not focus on relighting at all, require controlled illumination setups, or try to recover a relightable avatar from very low cost setups, i.e. a single RGB video, at the cost of severely limited result quality, e.g. shadows not even being modeled. To address this, we propose Relightable Neural Actor, a new video-based method for learning a pose-driven neural human model that can be relighted, allows appearance editing, and models pose-dependent effects such as wrinkles and self-shadows. Importantly, for training, our method solely requires a multi-view recording of the human under a known, but static lighting condition. To tackle this challenging problem, we leverage an implicit geometry representation of the actor with a drivable density field that models pose-dependent deformations and derive a dynamic mapping between 3D and UV spaces, where normal, visibility, and materials are effectively encoded. To evaluate our approach in real-world scenarios, we collect a new dataset with four identities recorded under different light conditions, indoors and outdoors, providing the first benchmark of its kind for human relighting, and demonstrating state-of-the-art relighting results for novel human poses.
- Abstract(参考訳): 固定照明付き多視点映像から制御可能で光沢のあるデジタルアバターを作成することは、人間が高度に調音され、ポーズ依存の外観効果を生み出し、衣服だけでなく肌も空間変化のあるBRDFモデリングを必要とするため、非常に難しい問題である。
既存のアニマティブルなアバターを作成する作業は、全くリライティングに重点を置いていないか、制御された照明装置を必要としているか、または単一のRGBビデオのような非常に低コストのセットアップからリライト可能なアバターを復元しようとする。
これを解決するために,ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法であるRelightable Neural Actorを提案する。
重要なことは、トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とすることである。
この課題に対処するために、アクターの暗黙的幾何表現と、ポーズ依存の変形をモデル化し、正常、可視、材料を効果的に符号化した3D空間と紫外線空間の動的マッピングを導出するドライビング密度場を利用する。
実世界のシナリオにおける我々のアプローチを評価するために、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集し、人間のリライティングのための最初のベンチマークを提供し、新しい人間のポーズに対する最先端のリライティング結果を実証した。
関連論文リスト
- IntrinsicAvatar: Physically Based Inverse Rendering of Dynamic Humans from Monocular Videos via Explicit Ray Tracing [30.944495094789826]
IntrinsicAvatarは、単眼ビデオのみから人間のアバターの本質的な特性を回復するための新しいアプローチである。
本手法は, 単眼映像から高品質な形状, アルベド, 材料, 照明特性を復元する。
論文 参考訳(メタデータ) (2023-12-08T17:58:14Z) - VINECS: Video-based Neural Character Skinning [82.39776643541383]
ポーズ依存のスキン重みを持つ完全リップ文字を作成するための完全自動アプローチを提案する。
提案手法は高密度4Dスキャンに頼らず,最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-03T08:35:53Z) - Relightable Neural Human Assets from Multi-view Gradient Illuminations [39.70530019396583]
このUltraStageは、2000以上の高品質な人的資産をマルチビューとマルチイルミネーションの両方でキャプチャした、新しい3D人的データセットである。
ニューラル表現の最近の進歩に触発されて、我々はそれぞれの例を任意の照明条件下で新しいビュー合成を可能にするニューラルヒューマンアセットに解釈する。
我々の神経質な人的資産は極めて高い捕獲性能を達成でき、顔のしわや布の折りなどの細部を表現できることを示す。
論文 参考訳(メタデータ) (2022-12-15T08:06:03Z) - Neural Novel Actor: Learning a Generalized Animatable Neural
Representation for Human Actors [98.24047528960406]
本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。
学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
論文 参考訳(メタデータ) (2022-08-25T07:36:46Z) - Relighting4D: Neural Relightable Human from Videos [32.32424947454304]
我々は、未知の照明下での人間の映像のみから自由視点のリライトを可能にする、原理化されたフレームワークRelighting4Dを提案する。
我々の重要な洞察は、人体の時空間的変化と反射性は、ニューラルネットワークの集合として分解できるということである。
フレームワーク全体は、正規化のために設計された物理的に情報を得た、自己管理的な方法でビデオから学習することができる。
論文 参考訳(メタデータ) (2022-07-14T17:57:13Z) - Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。
我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。
実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
論文 参考訳(メタデータ) (2021-06-25T13:32:23Z) - Neural Actor: Neural Free-view Synthesis of Human Actors with Pose
Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。
提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文 参考訳(メタデータ) (2021-06-03T17:40:48Z) - Style and Pose Control for Image Synthesis of Humans from a Single
Monocular View [78.6284090004218]
StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。
我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。
StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
論文 参考訳(メタデータ) (2021-02-22T18:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。