論文の概要: HumanNeRF-SE: A Simple yet Effective Approach to Animate HumanNeRF with
Diverse Poses
- arxiv url: http://arxiv.org/abs/2312.02232v1
- Date: Mon, 4 Dec 2023 06:37:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 18:15:23.826088
- Title: HumanNeRF-SE: A Simple yet Effective Approach to Animate HumanNeRF with
Diverse Poses
- Title(参考訳): HumanNeRF-SE:多元性を持つ人間NeRFの簡易かつ効果的なアプローチ
- Authors: Caoyuan Ma, Yu-Lun Liu, Zhixiang Wang, Wu Liu, Xinchen Liu and Zheng
Wang
- Abstract要約: 簡単な入力で多様な新しいポーズ画像を合成できるHumanNeRF-SEを提案する。
HumanNeRF-SEは学習可能なパラメータが少なく、トレーニング時間も少なく、パフォーマンスが向上する。
- 参考スコア(独自算出の注目度): 38.30739153110591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present HumanNeRF-SE, which can synthesize diverse novel pose images with
simple input. Previous HumanNeRF studies require large neural networks to fit
the human appearance and prior knowledge. Subsequent methods build upon this
approach with some improvements. Instead, we reconstruct this approach,
combining explicit and implicit human representations with both general and
specific mapping processes. Our key insight is that explicit shape can filter
the information used to fit implicit representation, and frozen general mapping
combined with point-specific mapping can effectively avoid overfitting and
improve pose generalization performance. Our explicit and implicit human
represent combination architecture is extremely effective. This is reflected in
our model's ability to synthesize images under arbitrary poses with few-shot
input and increase the speed of synthesizing images by 15 times through a
reduction in computational complexity without using any existing acceleration
modules. Compared to the state-of-the-art HumanNeRF studies, HumanNeRF-SE
achieves better performance with fewer learnable parameters and less training
time (see Figure 1).
- Abstract(参考訳): 簡単な入力で多様な新しいポーズ画像を合成できるHumanNeRF-SEを提案する。
以前のHumanNeRF研究は、人間の外見と事前の知識に適合するために大きなニューラルネットワークを必要とする。
その後のメソッドは、いくつかの改善とともにこのアプローチの上に構築される。
代わりに、このアプローチを再構築し、明示的および暗黙的な人間の表現と一般的なおよび特定のマッピングプロセスを組み合わせる。
私たちの重要な洞察は、明示的な形状が暗黙の表現に適合する情報をフィルタリングし、凍結された一般マッピングとポイント固有のマッピングを組み合わせることで、過剰フィッティングを効果的に回避し、ポーズの一般化性能を向上させることができるということです。
私たちの明示的で暗黙的な人間の組み合わせアーキテクチャは非常に効果的です。
これは,既存のアクセラレーションモジュールを使わずに,計算複雑性の低減により,任意のポーズで数ショットの入力で画像を合成し,画像の合成速度を15倍に向上する能力に反映される。
最先端のHumanNeRF研究と比較すると、HumanNeRF-SEは学習可能なパラメータが少なく、トレーニング時間も少ない(図1)。
関連論文リスト
- Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent
Synthetic Images [67.31920821192323]
Deceptive-Humanは、最先端の制御拡散モデル(ControlNetなど)を利用して高品質な制御可能な3D NeRFを生成する新しいフレームワークである。
提案手法は,テキストプロンプトや3Dメッシュ,ポーズ,シード画像などの付加データを含む,汎用的で容易に収容できる。
結果として得られる3D人間のNeRFモデルは、360度の視点から高光写実性ビューの合成を促進する。
論文 参考訳(メタデータ) (2023-11-27T15:49:41Z) - Exploring the Robustness of Human Parsers Towards Common Corruptions [99.89886010550836]
我々は,LIP-C,ATR-C,Pascal-Person-Part-Cという3つの汚職堅牢性ベンチマークを構築し,人間の解析モデルのリスク許容度を評価する。
データ強化戦略に触発されて、一般に破損した条件下で頑健性を高めるための新しい異種強化機構を提案する。
論文 参考訳(メタデータ) (2023-09-02T13:32:14Z) - Neural Image-based Avatars: Generalizable Radiance Fields for Human
Avatar Modeling [28.242591786838936]
スパースな多視点画像から、任意の人間のパフォーマーの斬新なビューと新しいポーズを可能にする手法を提案する。
提案手法の重要な要素は,暗示体NeRF表現と画像ベースレンダリングの利点を組み合わせたハイブリッド外観ブレンディングモジュールである。
論文 参考訳(メタデータ) (2023-04-10T23:53:28Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳(メタデータ) (2023-03-24T03:32:02Z) - Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。
本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。
さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
論文 参考訳(メタデータ) (2022-10-07T15:31:37Z) - Neural Novel Actor: Learning a Generalized Animatable Neural
Representation for Human Actors [98.24047528960406]
本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。
学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
論文 参考訳(メタデータ) (2022-08-25T07:36:46Z) - MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images [32.84481902544513]
本論文は,複数視点画像のみを入力として,トレーニング中に見えない人のための新しいビューと新しいポーズのレンダリングを扱う。
鍵となる要素は、正準NeRFと体積変形スキームを組み合わせた専用表現である。
本手法の有効性を総合的に示すために,新しいビュー合成とアニメーションタスクを用いた実データと合成データの両方の実験を行った。
論文 参考訳(メタデータ) (2022-03-31T08:09:03Z) - HumanNeRF: Generalizable Neural Human Radiance Field from Sparse Inputs [35.77939325296057]
最近のニューラルヒューマン表現は高品質なマルチビューレンダリングを生成することができるが、高密度なマルチビュー入力と高価なトレーニングが必要である。
我々は、動的人間の高忠実度自由視点合成のための、一般化可能なニューラル表現であるHumanNeRFを提案する。
論文 参考訳(メタデータ) (2021-12-06T05:22:09Z) - Neural Human Performer: Learning Generalizable Radiance Fields for Human
Performance Rendering [34.80975358673563]
本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。
ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
論文 参考訳(メタデータ) (2021-09-15T17:32:46Z) - MetaAvatar: Learning Animatable Clothed Human Models from Few Depth
Images [60.56518548286836]
新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。
本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
論文 参考訳(メタデータ) (2021-06-22T17:30:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。