論文の概要: ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs

• arxiv url: http://arxiv.org/abs/2304.14401v1
• Date: Thu, 27 Apr 2023 17:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 11:54:41.891191
• Title: ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs
• Title（参考訳）: ActorsNeRF:一般用NeRFを用いたアニメーション撮影
• Authors: Jiteng Mu, Shen Sang, Nuno Vasconcelos, Xiaolong Wang
• Abstract要約: 本稿では,ActorNeRFと呼ばれる新しいアニマタブルNeRFを提案する。 最初は多様な人間の被写体で事前訓練され、その後、目に見えないポーズを持つ新しい俳優のために、数発の単眼ビデオフレームで調整される。 我々は、アクターNeRFが、新しい人々への数ショットの一般化や複数のデータセットのポーズにおいて、既存の最先端技術よりも著しく優れていることを定量的に、質的に証明する。
• 参考スコア（独自算出の注目度）: 61.677180970486546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While NeRF-based human representations have shown impressive novel view synthesis results, most methods still rely on a large number of images / views for training. In this work, we propose a novel animatable NeRF called ActorsNeRF. It is first pre-trained on diverse human subjects, and then adapted with few-shot monocular video frames for a new actor with unseen poses. Building on previous generalizable NeRFs with parameter sharing using a ConvNet encoder, ActorsNeRF further adopts two human priors to capture the large human appearance, shape, and pose variations. Specifically, in the encoded feature space, we will first align different human subjects in a category-level canonical space, and then align the same human from different frames in an instance-level canonical space for rendering. We quantitatively and qualitatively demonstrate that ActorsNeRF significantly outperforms the existing state-of-the-art on few-shot generalization to new people and poses on multiple datasets. Project Page: https://jitengmu.github.io/ActorsNeRF/
• Abstract（参考訳）: NeRFをベースとした人間の表現は目覚ましいビュー合成結果を示しているが、ほとんどの手法はトレーニングのために多くの画像/ビューに依存している。 本研究では,ActorsNeRFと呼ばれる新しいアニマタブルNeRFを提案する。 最初は多様な人間の被験者に事前訓練され、その後、目に見えないポーズを持つ新しい俳優のために、数発の単眼ビデオフレームで調整される。 ActorsNeRFは、ConvNetエンコーダを使用したパラメータ共有を備えた以前の一般化可能なNeRFに基づいて、大きな人間の外見、形状、およびポーズのバリエーションをキャプチャするために、さらに2つの人間プリエントを採用する。 具体的には、符号化された特徴空間において、まず異なる人間の対象をカテゴリレベルの標準空間に整列させ、次に異なるフレームから同じ人間をインスタンスレベルの標準空間に整列させてレンダリングする。 我々は、アクターNeRFが、新しい人々の数ショットの一般化や複数のデータセットのポーズにおいて、既存の最先端技術よりも著しく優れていることを定量的に、質的に証明する。 プロジェクトページ: https://jitengmu.github.io/actorsnerf/

関連論文リスト

• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
  SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。 本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
  論文  参考訳（メタデータ） (2023-03-22T17:59:12Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images [32.84481902544513]
  本論文は,複数視点画像のみを入力として,トレーニング中に見えない人のための新しいビューと新しいポーズのレンダリングを扱う。 鍵となる要素は、正準NeRFと体積変形スキームを組み合わせた専用表現である。 本手法の有効性を総合的に示すために,新しいビュー合成とアニメーションタスクを用いた実データと合成データの両方の実験を行った。
  論文  参考訳（メタデータ） (2022-03-31T08:09:03Z)
• NeuMan: Neural Human Radiance Field from a Single Video [26.7471970027198]
  我々は、人間のNeRFモデルとシーンのNeRFモデルという2つのNeRFモデルを訓練する。 本手法では,10秒間のビデオクリップから,布のしわやアクセサリなど,対象の詳細を学習することができる。
  論文  参考訳（メタデータ） (2022-03-23T17:35:50Z)
• Semantic-Aware Implicit Neural Audio-Driven Video Portrait Generation [61.8546794105462]
  我々は,一組のNeRFを用いて,繊細な音声駆動のポートレートを生成するセマンティック・アウェア・ポーティング・ポートレート・ネRF(SSP-NeRF)を提案する。 まず,音声によるボリュームレンダリングを容易にする解析機能を備えたSemantic-Aware Dynamic Ray Smplingモジュールを提案する。 1つの統合神経放射場におけるポートレートレンダリングを可能にするため、Torso変形モジュールは、大規模な非剛性胴体運動を安定させるように設計されている。
  論文  参考訳（メタデータ） (2022-01-19T18:54:41Z)
• HumanNeRF: Generalizable Neural Human Radiance Field from Sparse Inputs [35.77939325296057]
  最近のニューラルヒューマン表現は高品質なマルチビューレンダリングを生成することができるが、高密度なマルチビュー入力と高価なトレーニングが必要である。 我々は、動的人間の高忠実度自由視点合成のための、一般化可能なニューラル表現であるHumanNeRFを提案する。
  論文  参考訳（メタデータ） (2021-12-06T05:22:09Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis [86.38901313994734]
  数枚の画像から推定した3次元ニューラルシーン表現であるDietNeRFを提案する。 NeRFはマルチビュー一貫性によってシーンの連続的なボリューム表現を学習する。 我々は,新しいポーズにおけるリアルなレンダリングを促進する補助的なセマンティック一貫性損失を導入する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。