論文の概要: Animatable Neural Radiance Fields from Monocular RGB Video

• arxiv url: http://arxiv.org/abs/2106.13629v1
• Date: Fri, 25 Jun 2021 13:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-28 13:05:29.706871
• Title: Animatable Neural Radiance Fields from Monocular RGB Video
• Title（参考訳）: 単眼RGB映像からのアニマタブルニューラルラジアンス場
• Authors: Jianchuan Chen, Ying Zhang, Di Kang, Xuefei Zhe, Linchao Bao, Huchuan Lu
• Abstract要約: 単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
• 参考スコア（独自算出の注目度）: 72.6101766407013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present animatable neural radiance fields for detailed human avatar creation from monocular videos. Our approach extends neural radiance fields (NeRF) to the dynamic scenes with human movements via introducing explicit pose-guided deformation while learning the scene representation network. In particular, we estimate the human pose for each frame and learn a constant canonical space for the detailed human template, which enables natural shape deformation from the observation space to the canonical space under the explicit control of the pose parameters. To compensate for inaccurate pose estimation, we introduce the pose refinement strategy that updates the initial pose during the learning process, which not only helps to learn more accurate human reconstruction but also accelerates the convergence. In experiments we show that the proposed approach achieves 1) implicit human geometry and appearance reconstruction with high-quality details, 2) photo-realistic rendering of the human from arbitrary views, and 3) animation of the human with arbitrary poses.
• Abstract（参考訳）: 単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場を提案する。 提案手法は,シーン表現ネットワークを学習しながら,明示的なポーズ誘導変形を導入することで,人間の動きを伴う動的シーンにニューラルレイディアンス場(NeRF)を拡張する。 特に、各フレームの人間のポーズを推定し、詳細な人間のテンプレートに対して一定の標準空間を学習し、ポーズパラメータの明示的な制御の下で観察空間から標準空間への自然な形状変形を可能にする。 不正確なポーズ推定を補うために、学習過程における最初のポーズを更新するポーズ改善戦略を導入し、より正確な人間の再構築を学ぶだけでなく、収束を加速させる。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。

関連論文リスト

• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Towards 4D Human Video Stylization [56.33756124829298]
  本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。 我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。 我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
  論文  参考訳（メタデータ） (2023-12-07T08:58:33Z)
• Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition [40.46674919612935]
  Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。 提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。 シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
  論文  参考訳（メタデータ） (2023-02-22T18:59:17Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Structured Local Radiance Fields for Human Avatar Modeling [40.123537202191564]
  本稿では,近年のニューラルシーンレンダリング技術に基づく新しい表現を提案する。 我々の表現の中核は、統計的な人体テンプレートでサンプリングされた事前定義されたノードに固定された、構造化された局所放射界の集合である。 本手法は, 被検体固有のテンプレートをスキャンすることなく, 各種の衣服用アニマタブルな人体アバターの自動構築を可能にする。
  論文  参考訳（メタデータ） (2022-03-28T03:43:52Z)
• H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion [42.4185273307021]
  本研究では,低周波カメラや単眼ビデオで捉えたヒトの動作をレンダリング・時間的(4D)再構成するためのH-NeRF,神経放射場について述べる。 我々のNeRFにインスパイアされたアプローチは、ニューラルシーンの表現、ノベルビューの合成、暗黙の統計的幾何学的人間の表現のアイデアを組み合わせたものです。
  論文  参考訳（メタデータ） (2021-10-26T14:51:36Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction [9.747648609960185]
  本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。 特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
  論文  参考訳（メタデータ） (2020-12-05T16:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。