論文の概要: HumanNeRF-SE: A Simple yet Effective Approach to Animate HumanNeRF with Diverse Poses

• arxiv url: http://arxiv.org/abs/2312.02232v1
• Date: Mon, 4 Dec 2023 06:37:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 18:15:23.826088
• Title: HumanNeRF-SE: A Simple yet Effective Approach to Animate HumanNeRF with Diverse Poses
• Title（参考訳）: HumanNeRF-SE:多元性を持つ人間NeRFの簡易かつ効果的なアプローチ
• Authors: Caoyuan Ma, Yu-Lun Liu, Zhixiang Wang, Wu Liu, Xinchen Liu and Zheng Wang
• Abstract要約: 簡単な入力で多様な新しいポーズ画像を合成できるHumanNeRF-SEを提案する。 HumanNeRF-SEは学習可能なパラメータが少なく、トレーニング時間も少なく、パフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 38.30739153110591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present HumanNeRF-SE, which can synthesize diverse novel pose images with simple input. Previous HumanNeRF studies require large neural networks to fit the human appearance and prior knowledge. Subsequent methods build upon this approach with some improvements. Instead, we reconstruct this approach, combining explicit and implicit human representations with both general and specific mapping processes. Our key insight is that explicit shape can filter the information used to fit implicit representation, and frozen general mapping combined with point-specific mapping can effectively avoid overfitting and improve pose generalization performance. Our explicit and implicit human represent combination architecture is extremely effective. This is reflected in our model's ability to synthesize images under arbitrary poses with few-shot input and increase the speed of synthesizing images by 15 times through a reduction in computational complexity without using any existing acceleration modules. Compared to the state-of-the-art HumanNeRF studies, HumanNeRF-SE achieves better performance with fewer learnable parameters and less training time (see Figure 1).
• Abstract（参考訳）: 簡単な入力で多様な新しいポーズ画像を合成できるHumanNeRF-SEを提案する。 以前のHumanNeRF研究は、人間の外見と事前の知識に適合するために大きなニューラルネットワークを必要とする。 その後のメソッドは、いくつかの改善とともにこのアプローチの上に構築される。 代わりに、このアプローチを再構築し、明示的および暗黙的な人間の表現と一般的なおよび特定のマッピングプロセスを組み合わせる。 私たちの重要な洞察は、明示的な形状が暗黙の表現に適合する情報をフィルタリングし、凍結された一般マッピングとポイント固有のマッピングを組み合わせることで、過剰フィッティングを効果的に回避し、ポーズの一般化性能を向上させることができるということです。 私たちの明示的で暗黙的な人間の組み合わせアーキテクチャは非常に効果的です。 これは,既存のアクセラレーションモジュールを使わずに,計算複雑性の低減により,任意のポーズで数ショットの入力で画像を合成し,画像の合成速度を15倍に向上する能力に反映される。 最先端のHumanNeRF研究と比較すると、HumanNeRF-SEは学習可能なパラメータが少なく、トレーニング時間も少ない(図1)。

関連論文リスト

• LIFe-GoM: Generalizable Human Rendering with Learned Iterative Feedback Over Multi-Resolution Gaussians-on-Mesh [102.24454703207194]
  スパース入力からのアニマタブルな人間のアバターの一般的なレンダリングは、大規模データのトレーニングから抽出されたデータ先行と誘導バイアスに依存する。 本稿では,再建過程における標準的な人体形状表現を逐次改善する反復的フィードバック更新フレームワークを提案する。 提案手法は,1秒未満のスパース入力からアニマタブルな表現を再構成し,95.1FPSのビューを1024×1024$でレンダリングし,THuman2.0上でPSNR/LPIPS*/FIDの24.65/110.82/51.27を達成する。
  論文  参考訳（メタデータ） (2025-02-13T18:59:19Z)
• Neural Image-based Avatars: Generalizable Radiance Fields for Human Avatar Modeling [28.242591786838936]
  スパースな多視点画像から、任意の人間のパフォーマーの斬新なビューと新しいポーズを可能にする手法を提案する。 提案手法の重要な要素は,暗示体NeRF表現と画像ベースレンダリングの利点を組み合わせたハイブリッド外観ブレンディングモジュールである。
  論文  参考訳（メタデータ） (2023-04-10T23:53:28Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images [32.84481902544513]
  本論文は,複数視点画像のみを入力として,トレーニング中に見えない人のための新しいビューと新しいポーズのレンダリングを扱う。 鍵となる要素は、正準NeRFと体積変形スキームを組み合わせた専用表現である。 本手法の有効性を総合的に示すために,新しいビュー合成とアニメーションタスクを用いた実データと合成データの両方の実験を行った。
  論文  参考訳（メタデータ） (2022-03-31T08:09:03Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• HumanNeRF: Generalizable Neural Human Radiance Field from Sparse Inputs [35.77939325296057]
  最近のニューラルヒューマン表現は高品質なマルチビューレンダリングを生成することができるが、高密度なマルチビュー入力と高価なトレーニングが必要である。 我々は、動的人間の高忠実度自由視点合成のための、一般化可能なニューラル表現であるHumanNeRFを提案する。
  論文  参考訳（メタデータ） (2021-12-06T05:22:09Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Training End-to-end Single Image Generators without GANs [27.393821783237186]
  AugurOneは、単一画像生成モデルをトレーニングするための新しいアプローチである。 提案手法は,入力画像の非アフィン強化を用いて,アップスケーリングニューラルネットワークを訓練する。 制御画像合成が可能なコンパクト潜在空間を共同で学習する。
  論文  参考訳（メタデータ） (2020-04-07T17:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。