論文の概要: Point-Based Radiance Fields for Controllable Human Motion Synthesis
- arxiv url: http://arxiv.org/abs/2310.03375v1
- Date: Thu, 5 Oct 2023 08:27:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 17:06:04.911732
- Title: Point-Based Radiance Fields for Controllable Human Motion Synthesis
- Title(参考訳): 制御可能な人体運動合成のための点ベース放射場
- Authors: Haitao Yu, Deheng Zhang, Peiyuan Xie, Tianyi Zhang
- Abstract要約: 本稿では,静的な点ベース放射場に基づく微細変形のための制御可能な人体動作合成法を提案する。
提案手法は,静的な3次元シーンをトレーニングするために明示的な点雲を利用し,点雲変換を符号化して変形を適用した。
我々の手法は、人間以外の他の3Dキャラクタに一般化できる、微細な複雑な変形に関する最先端技術よりもはるかに優れている。
- 参考スコア(独自算出の注目度): 7.322100850632633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes a novel controllable human motion synthesis method for
fine-level deformation based on static point-based radiance fields. Although
previous editable neural radiance field methods can generate impressive results
on novel-view synthesis and allow naive deformation, few algorithms can achieve
complex 3D human editing such as forward kinematics. Our method exploits the
explicit point cloud to train the static 3D scene and apply the deformation by
encoding the point cloud translation using a deformation MLP. To make sure the
rendering result is consistent with the canonical space training, we estimate
the local rotation using SVD and interpolate the per-point rotation to the
query view direction of the pre-trained radiance field. Extensive experiments
show that our approach can significantly outperform the state-of-the-art on
fine-level complex deformation which can be generalized to other 3D characters
besides humans.
- Abstract(参考訳): 本稿では,静的点に基づく放射場に基づく微粒度変形の制御可能な新しいヒューマンモーション合成法を提案する。
従来の編集可能なニューラルラディアンスフィールド法は、新しいビュー合成において印象的な結果を生成でき、ナイーブな変形を可能にするが、フォワードキネマティクスのような複雑な3D人間の編集を実現するアルゴリズムはほとんどない。
本手法では,明示的ポイントクラウドを利用して静的3dシーンを訓練し,変形mlpを用いてポイントクラウド変換を符号化することで変形を適用する。
レンダリング結果が正準空間トレーニングと一致していることを確認するため,svdを用いて局所回転を推定し,事前学習した放射場のクエリビュー方向に点単位回転を補間する。
広範な実験により,人間以外の3d文字に一般化できる超高次複素変形の最先端を著しく上回ることができることを示した。
関連論文リスト
- SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳(メタデータ) (2023-12-04T11:57:14Z) - Parameterization-driven Neural Implicit Surfaces Editing [37.48581817960415]
神経暗示面を単純なパラメトリック領域にパラメータ化するための新しいニューラルネットワークを提案する。
提案手法は3次元オブジェクトとその選択したパラメトリック領域間の双方向の変形を計算する。
我々はまた、ビュー非依存の材料編集とビュー依存のシェーディング編集の両方を容易にし、内在的放射分解の簡易かつ効果的な手法も導入した。
論文 参考訳(メタデータ) (2023-10-09T08:42:40Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - Semantic 3D-aware Portrait Synthesis and Manipulation Based on
Compositional Neural Radiance Field [55.431697263581626]
セマンティックな3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。
CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。
最先端の3D-Aware GAN法と比較して,我々は高品質な3D一貫性合成を維持しつつ,きめ細かな意味領域操作を可能にする。
論文 参考訳(メタデータ) (2023-02-03T07:17:46Z) - Animatable Implicit Neural Representations for Creating Realistic
Avatars from Videos [63.16888987770885]
本稿では,マルチビュー映像からアニマタブルな人間モデルを構築することの課題について述べる。
線形ブレンドスキンアルゴリズムに基づくポーズ駆動変形場を提案する。
提案手法は,近年の人体モデリング手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-03-15T17:56:59Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Animatable Neural Radiance Fields for Human Body Modeling [54.41477114385557]
本稿では,多視点映像から人間モデルを再構築する課題について述べる。
変形場を生成するためにニューラルブレンド重量場を導入する。
実験の結果,我々のアプローチは最近の人間の手法を大きく上回っていることがわかった。
論文 参考訳(メタデータ) (2021-05-06T17:58:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。