論文の概要: HumanNeRF-SE: A Simple yet Effective Approach to Animate HumanNeRF with Diverse Poses

• arxiv url: http://arxiv.org/abs/2312.02232v2
• Date: Thu, 4 Apr 2024 03:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 19:53:21.745723
• Title: HumanNeRF-SE: A Simple yet Effective Approach to Animate HumanNeRF with Diverse Poses
• Title（参考訳）: HumanNeRF-SE:多元性を持つ人間NeRFの簡易的かつ効果的なアプローチ
• Authors: Caoyuan Ma, Yu-Lun Liu, Zhixiang Wang, Wu Liu, Xinchen Liu, Zheng Wang,
• Abstract要約: 本稿では,多様な新しいポーズ画像を簡単な入力で合成する,シンプルで効果的なHumanNeRF-SEを提案する。 私たちのキーとなる洞察は、明示的な形状は暗黙の表現に合うために使用されるサンプリングポイントを減らすことができるということです。 実験により,任意のポーズで数発の入力で画像を合成し,画像の合成速度を15倍に向上できることが示された。
• 参考スコア（独自算出の注目度）: 36.15215133667804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present HumanNeRF-SE, a simple yet effective method that synthesizes diverse novel pose images with simple input. Previous HumanNeRF works require a large number of optimizable parameters to fit the human images. Instead, we reload these approaches by combining explicit and implicit human representations to design both generalized rigid deformation and specific non-rigid deformation. Our key insight is that explicit shape can reduce the sampling points used to fit implicit representation, and frozen blending weights from SMPL constructing a generalized rigid deformation can effectively avoid overfitting and improve pose generalization performance. Our architecture involving both explicit and implicit representation is simple yet effective. Experiments demonstrate our model can synthesize images under arbitrary poses with few-shot input and increase the speed of synthesizing images by 15 times through a reduction in computational complexity without using any existing acceleration modules. Compared to the state-of-the-art HumanNeRF studies, HumanNeRF-SE achieves better performance with fewer learnable parameters and less training time.
• Abstract（参考訳）: 本稿では,多様な新しいポーズ画像を簡単な入力で合成する,シンプルで効果的なHumanNeRF-SEを提案する。 以前のHumanNeRFの作業は、人間の画像に合わせるために、多数の最適化可能なパラメータを必要とする。 代わりに、これらのアプローチを明示的および暗黙的な人間の表現を組み合わせることで再ロードし、一般化された剛性変形と特定の非剛性変形の両方を設計する。 我々の重要な洞察は、明示的な形状は暗黙の表現に合うサンプリングポイントを減らすことができ、一般化された剛性変形を構成するSMPLからの凍結した混合重量は、過度な適合を効果的に回避し、ポーズの一般化性能を向上させることができるということである。 明示的表現と暗黙的表現の両方を含むアーキテクチャはシンプルだが効果的である。 実験では,既存の加速度モジュールを使わずに,任意のポーズで画像を合成し,画像の合成速度を15倍に向上できることを示した。 最先端のHumanNeRF研究と比較すると、HumanNeRF-SEは学習可能なパラメータが少なく、トレーニング時間も少ないパフォーマンスを実現している。

関連論文リスト

• Exploring the Robustness of Human Parsers Towards Common Corruptions [99.89886010550836]
  我々は,LIP-C,ATR-C,Pascal-Person-Part-Cという3つの汚職堅牢性ベンチマークを構築し,人間の解析モデルのリスク許容度を評価する。 データ強化戦略に触発されて、一般に破損した条件下で頑健性を高めるための新しい異種強化機構を提案する。
  論文  参考訳（メタデータ） (2023-09-02T13:32:14Z)
• Neural Image-based Avatars: Generalizable Radiance Fields for Human Avatar Modeling [28.242591786838936]
  スパースな多視点画像から、任意の人間のパフォーマーの斬新なビューと新しいポーズを可能にする手法を提案する。 提案手法の重要な要素は,暗示体NeRF表現と画像ベースレンダリングの利点を組み合わせたハイブリッド外観ブレンディングモジュールである。
  論文  参考訳（メタデータ） (2023-04-10T23:53:28Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images [32.84481902544513]
  本論文は,複数視点画像のみを入力として,トレーニング中に見えない人のための新しいビューと新しいポーズのレンダリングを扱う。 鍵となる要素は、正準NeRFと体積変形スキームを組み合わせた専用表現である。 本手法の有効性を総合的に示すために,新しいビュー合成とアニメーションタスクを用いた実データと合成データの両方の実験を行った。
  論文  参考訳（メタデータ） (2022-03-31T08:09:03Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• HumanNeRF: Generalizable Neural Human Radiance Field from Sparse Inputs [35.77939325296057]
  最近のニューラルヒューマン表現は高品質なマルチビューレンダリングを生成することができるが、高密度なマルチビュー入力と高価なトレーニングが必要である。 我々は、動的人間の高忠実度自由視点合成のための、一般化可能なニューラル表現であるHumanNeRFを提案する。
  論文  参考訳（メタデータ） (2021-12-06T05:22:09Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Training End-to-end Single Image Generators without GANs [27.393821783237186]
  AugurOneは、単一画像生成モデルをトレーニングするための新しいアプローチである。 提案手法は,入力画像の非アフィン強化を用いて,アップスケーリングニューラルネットワークを訓練する。 制御画像合成が可能なコンパクト潜在空間を共同で学習する。
  論文  参考訳（メタデータ） (2020-04-07T17:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。