論文の概要: Relightable Neural Actor with Intrinsic Decomposition and Pose Control

• arxiv url: http://arxiv.org/abs/2312.11587v2
• Date: Fri, 26 Jul 2024 13:16:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 18:31:34.078393
• Title: Relightable Neural Actor with Intrinsic Decomposition and Pose Control
• Title（参考訳）: 固有分解とポス制御を併用したリラクタ型ニューラルアクチュエータ
• Authors: Diogo Luvizon, Vladislav Golyanik, Adam Kortylewski, Marc Habermann, Christian Theobalt,
• Abstract要約: 提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
• 参考スコア（独自算出の注目度）: 80.06094206522668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating a controllable and relightable digital avatar from multi-view video with fixed illumination is a very challenging problem since humans are highly articulated, creating pose-dependent appearance effects, and skin as well as clothing require space-varying BRDF modeling. Existing works on creating animatible avatars either do not focus on relighting at all, require controlled illumination setups, or try to recover a relightable avatar from very low cost setups, i.e. a single RGB video, at the cost of severely limited result quality, e.g. shadows not even being modeled. To address this, we propose Relightable Neural Actor, a new video-based method for learning a pose-driven neural human model that can be relighted, allows appearance editing, and models pose-dependent effects such as wrinkles and self-shadows. Importantly, for training, our method solely requires a multi-view recording of the human under a known, but static lighting condition. To tackle this challenging problem, we leverage an implicit geometry representation of the actor with a drivable density field that models pose-dependent deformations and derive a dynamic mapping between 3D and UV spaces, where normal, visibility, and materials are effectively encoded. To evaluate our approach in real-world scenarios, we collect a new dataset with four identities recorded under different light conditions, indoors and outdoors, providing the first benchmark of its kind for human relighting, and demonstrating state-of-the-art relighting results for novel human poses.
• Abstract（参考訳）: 固定照明付き多視点映像から制御可能で光沢のあるデジタルアバターを作成することは、人間が高度に調音され、ポーズ依存の外観効果を生み出し、衣服だけでなく肌も空間変化のあるBRDFモデリングを必要とするため、非常に難しい問題である。 既存のアニマティブルなアバターを作成する作業は、全くリライティングに重点を置いていないか、制御された照明装置を必要としているか、または単一のRGBビデオのような非常に低コストのセットアップからリライト可能なアバターを復元しようとする。 これを解決するために,ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法であるRelightable Neural Actorを提案する。 重要なことは、トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とすることである。 この課題に対処するために、アクターの暗黙的幾何表現と、ポーズ依存の変形をモデル化し、正常、可視、材料を効果的に符号化した3D空間と紫外線空間の動的マッピングを導出するドライビング密度場を利用する。 実世界のシナリオにおける我々のアプローチを評価するために、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集し、人間のリライティングのための最初のベンチマークを提供し、新しい人間のポーズに対する最先端のリライティング結果を実証した。

関連論文リスト

• DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploration in the Dark [14.47850251126128]
  照明条件が悪く、かつ移動光源で光リアルなシーン表現を構築するという課題に挑戦する。 我々は,Neural Light Simulator (NeLiS) を用いて,カメラライトシステムのモデル化とキャリブレーションを行う革新的なフレームワークを提案する。 本研究では,様々な実環境におけるシミュレータとシステムの適用性およびロバスト性を示す。
  論文  参考訳（メタデータ） (2024-03-16T05:21:42Z)
• NECA: Neural Customizable Human Avatar [36.69012172745299]
  モノクラービデオやスパースビュービデオから多目的な人間の表現を学習する手法であるNECAを紹介する。 我々のアプローチの中核は、補完的な双対空間で人間を表現し、幾何学、アルベド、シャドー、および外部照明の非絡み合った神経場を予測することである。
  論文  参考訳（メタデータ） (2024-03-15T14:23:06Z)
• URHand: Universal Relightable Hands [64.25893653236912]
  URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。 本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
  論文  参考訳（メタデータ） (2024-01-10T18:59:51Z)
• Relightable and Animatable Neural Avatars from Videos [14.091229306680697]
  本研究では, 可照性でアニマタブルなニューラルアバターを作成する方法を提案する。 鍵となる課題は、幾何学、衣服の素材、照明を解体することである。 合成および実データを用いた実験により,本手法は高品質な幾何を再構成することを示した。
  論文  参考訳（メタデータ） (2023-12-20T09:39:55Z)
• VINECS: Video-based Neural Character Skinning [82.39776643541383]
  ポーズ依存のスキン重みを持つ完全リップ文字を作成するための完全自動アプローチを提案する。 提案手法は高密度4Dスキャンに頼らず,最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-03T08:35:53Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Relighting4D: Neural Relightable Human from Videos [32.32424947454304]
  我々は、未知の照明下での人間の映像のみから自由視点のリライトを可能にする、原理化されたフレームワークRelighting4Dを提案する。 我々の重要な洞察は、人体の時空間的変化と反射性は、ニューラルネットワークの集合として分解できるということである。 フレームワーク全体は、正規化のために設計された物理的に情報を得た、自己管理的な方法でビデオから学習することができる。
  論文  参考訳（メタデータ） (2022-07-14T17:57:13Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。