論文の概要: NECA: Neural Customizable Human Avatar

• arxiv url: http://arxiv.org/abs/2403.10335v1
• Date: Fri, 15 Mar 2024 14:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 16:51:41.564482
• Title: NECA: Neural Customizable Human Avatar
• Title（参考訳）: NECA:ニューラルカスタマイズ可能な人間のアバター
• Authors: Junjin Xiao, Qing Zhang, Zhan Xu, Wei-Shi Zheng,
• Abstract要約: モノクラービデオやスパースビュービデオから多目的な人間の表現を学習する手法であるNECAを紹介する。 我々のアプローチの中核は、補完的な双対空間で人間を表現し、幾何学、アルベド、シャドー、および外部照明の非絡み合った神経場を予測することである。
• 参考スコア（独自算出の注目度）: 36.69012172745299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human avatar has become a novel type of 3D asset with various applications. Ideally, a human avatar should be fully customizable to accommodate different settings and environments. In this work, we introduce NECA, an approach capable of learning versatile human representation from monocular or sparse-view videos, enabling granular customization across aspects such as pose, shadow, shape, lighting and texture. The core of our approach is to represent humans in complementary dual spaces and predict disentangled neural fields of geometry, albedo, shadow, as well as an external lighting, from which we are able to derive realistic rendering with high-frequency details via volumetric rendering. Extensive experiments demonstrate the advantage of our method over the state-of-the-art methods in photorealistic rendering, as well as various editing tasks such as novel pose synthesis and relighting. The code is available at https://github.com/iSEE-Laboratory/NECA.
• Abstract（参考訳）: アバターは様々な用途で新しいタイプの3Dアセットとなった。 理想的には、人間のアバターは異なる設定や環境に合わせて完全にカスタマイズできるべきだ。 本研究では,モノクラー映像やスパースビュー映像から多目的表現を学習し,ポーズ,シャドウ,形状,照明,テクスチャなど,さまざまな面のきめ細やかなカスタマイズを可能にする手法NECAを紹介する。 我々のアプローチの核となるのは、人間を相補的な双対空間で表現し、幾何学、アルベド、シャドー、および外部照明の非交叉神経場を予測することである。 広汎な実験により,フォトリアリスティックレンダリングにおける最先端手法と,新しいポーズ合成やリライティングといった様々な編集タスクの利点が示された。 コードはhttps://github.com/iSEE-Laboratory/NECAで公開されている。

関連論文リスト

• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video [14.140380599168628]
  ReCaLaBは、単一のRGBビデオから高忠実な3Dアバターを学習するパイプラインだ。 ポーズ条件のNeRFは、人間の対象を標準的T目的で容積的に表現するように最適化される。 これにより、画像条件付き拡散モデルにより、3Dアバターの外観とポーズをアニメーション化し、これまで見えなかった人間の動きを伴う映像シーケンスを作成することができる。
  論文  参考訳（メタデータ） (2023-12-08T01:53:06Z)
• Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars [18.55354901614876]
  入力画像とポーズから人間のアバターを学習するAnimatable 3D Gaussianを提案する。 新規なビュー合成と新規ポーズ合成の両タスクにおいて,本手法はトレーニング時間を短縮したInstantAvatarよりも高い再現性を実現する。 本手法は,25秒のトレーニングで10人のシーンにおいて,複数のシーンに容易に拡張可能であり,それと同等の新規なビュー合成結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T08:17:09Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Learning Locally Editable Virtual Humans [37.95173373011365]
  完全編集可能なニューラルアバターをモデル化するための新しいハイブリッド表現とエンドツーエンドのトレーニング可能なネットワークアーキテクチャを提案する。 私たちの研究の中心には、ニューラルネットワークのモデリング能力と使いやすさ、スキン付きメッシュの固有の3D一貫性を組み合わせた表現があります。 提案手法は多種多様な細かなアバターを生成し,最先端の手法に比べて優れたモデル適合性を実現する。
  論文  参考訳（メタデータ） (2023-04-28T23:06:17Z)
• One-shot Implicit Animatable Avatars with Model-based Priors [31.385051428938585]
  ELICITは、1つの画像から人間固有の神経放射場を学習する新しい方法である。 ELICITは、単一のイメージしか利用できない場合、アバター生成の強力なベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-05T18:24:06Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• PINA: Learning a Personalized Implicit Neural Avatar from a Single RGB-D Video Sequence [60.46092534331516]
  本稿では,短いRGB-Dシーケンスからパーソナライズされたインシシットニューラルアバター(PINA)を学習する方法を提案する。 PINAは完全なスキャンを必要としないし、人間の大規模なデータセットから事前の学習も必要ではない。 ポーズ条件付暗示面と変形場を用いて形状と非剛性変形を学習する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-03T15:04:55Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。