論文の概要: Explicifying Neural Implicit Fields for Efficient Dynamic Human Avatar
Modeling via a Neural Explicit Surface
- arxiv url: http://arxiv.org/abs/2308.05112v1
- Date: Mon, 7 Aug 2023 07:17:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 14:58:35.950061
- Title: Explicifying Neural Implicit Fields for Efficient Dynamic Human Avatar
Modeling via a Neural Explicit Surface
- Title(参考訳): ニューラルネットワークによる効率的な動的アバターモデリングのための神経インシシシト場の拡張
- Authors: Ruiqi Zhang and Jie Chen and Qiang Wang
- Abstract要約: 暗黙のニューラルネットワークは、ダイナミックな3Dコンテンツのモデリングにおいて、従来の明示的な表現よりも有利である。
本稿では,暗黙のニューラルネットワークを明示的に表現するために,ニューラル・エクスプリシト・サーフェス(NES)の利用を提案する。
NESは従来の3Dアプローチと同様に、レンダリング速度を大幅に改善し、メモリコストを削減した。
- 参考スコア(独自算出の注目度): 10.604108229704336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a technique for efficiently modeling dynamic humans by
explicifying the implicit neural fields via a Neural Explicit Surface (NES).
Implicit neural fields have advantages over traditional explicit
representations in modeling dynamic 3D content from sparse observations and
effectively representing complex geometries and appearances. Implicit neural
fields defined in 3D space, however, are expensive to render due to the need
for dense sampling during volumetric rendering. Moreover, their memory
efficiency can be further optimized when modeling sparse 3D space. To overcome
these issues, the paper proposes utilizing Neural Explicit Surface (NES) to
explicitly represent implicit neural fields, facilitating memory and
computational efficiency. To achieve this, the paper creates a fully
differentiable conversion between the implicit neural fields and the explicit
rendering interface of NES, leveraging the strengths of both implicit and
explicit approaches. This conversion enables effective training of the hybrid
representation using implicit methods and efficient rendering by integrating
the explicit rendering interface with a newly proposed rasterization-based
neural renderer that only incurs a texture color query once for the initial ray
interaction with the explicit surface, resulting in improved inference
efficiency. NES describes dynamic human geometries with pose-dependent neural
implicit surface deformation fields and their dynamic neural textures both in
2D space, which is a more memory-efficient alternative to traditional 3D
methods, reducing redundancy and computational load. The comprehensive
experiments show that NES performs similarly to previous 3D approaches, with
greatly improved rendering speed and reduced memory cost.
- Abstract(参考訳): 本稿では,ニューラル・エクスプリシト・サーフェス(NES)を用いて暗黙のニューラルネットワークを明示することで,動的人間を効率的にモデル化する手法を提案する。
暗黙のニューラルネットワークは、スパース観測からダイナミックな3Dコンテンツをモデル化し、複雑な測地や外観を効果的に表現する際に、従来の明示的な表現よりも有利である。
しかし、3d空間で定義される暗黙のニューラルフィールドは、ボリュームレンダリング中に濃密なサンプリングを必要とするため、レンダリングが高価である。
さらに、メモリ効率はスパース3d空間のモデリング時にさらに最適化できる。
これらの問題を克服するために、暗黙的なニューラルネットワークを明示的に表現し、メモリと計算効率を高めるためにNeural Explicit Surface(NES)の利用を提案する。
これを実現するために、この論文は暗黙のニューラルネットワークとNESの明示的なレンダリングインターフェースとを完全に区別可能な変換を作成し、暗黙のアプローチと明示的なアプローチの両方の長所を活用する。
この変換により、暗黙の方法でハイブリッド表現を効果的に訓練することができ、明示的なレンダリングインターフェースをラスタライズベースのニューラルレンダラーと統合することで、明示的な表面との初期の光線相互作用に一度だけテクスチャカラークエリを発生させることができ、推論効率が向上する。
NESは、ポーズ依存のニューラルな暗黙の表面変形場と、2D空間の両方のダイナミックなニューラルテクスチャを持つ動的ヒューマンジオメトリを記述しており、これは従来の3D手法よりもメモリ効率が良いため、冗長性と計算負荷を低減している。
総合的な実験により、NESは以前の3Dアプローチと同様の性能を示し、レンダリング速度を大幅に改善し、メモリコストを削減した。
関連論文リスト
- DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - NSF: Neural Surface Fields for Human Modeling from Monocular Depth [46.928496022657185]
スパースデータから動的できめ細かな衣服の変形をモデル化することは困難である。
深度データから3次元人間をモデル化するための既存の手法は、計算効率、メッシュコヒーレンシー、解像度とトポロジーの柔軟性に制限がある。
本研究では, 単眼深度から3次元布地をモデル化するニューラル表面場を提案する。
論文 参考訳(メタデータ) (2023-08-28T19:08:17Z) - Neural Point-based Volumetric Avatar: Surface-guided Neural Points for
Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。
具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。
設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
論文 参考訳(メタデータ) (2023-07-11T03:40:10Z) - Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。
曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。
パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
論文 参考訳(メタデータ) (2022-12-08T16:29:46Z) - Fast-SNARF: A Fast Deformer for Articulated Neural Fields [92.68788512596254]
本稿では,標準空間とポーズ空間の正確な対応性を求める,ニューラルフィールドのための新しい調音モジュールFast-SNARFを提案する。
Fast-SNARFはこれまでの研究であるSNARFの代替であり、計算効率は大幅に向上した。
変形マップの学習は多くの3次元人間のアバター法において重要な要素であるため、この研究は3次元仮想人間の実現に向けた重要なステップであると考えている。
論文 参考訳(メタデータ) (2022-11-28T17:55:34Z) - Neural Poisson: Indicator Functions for Neural Fields [25.41908065938424]
3次元形状の符号付き距離場表現(SDF)は顕著な進展を示した。
本稿では,3次元シーンのニューラルフィールド表現のための新しいパラダイムを提案する。
提案手法は, 合成3次元シーンデータと実写3次元シーンデータの両方に対して, 最先端の再構築性能を示す。
論文 参考訳(メタデータ) (2022-11-25T17:28:22Z) - Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。
従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
論文 参考訳(メタデータ) (2022-02-16T21:24:54Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - Mixture of Volumetric Primitives for Efficient Neural Rendering [38.18092468814364]
動的3Dコンテンツをレンダリングするための表現であるVolumetric Primitives(MVP)のMixtureを紹介します。
mvpはボリューム表現の完全性とプリミティブベースのレンダリングの効率を組み合わせる。
MVPは品質と実行時のパフォーマンスの点で優れた結果をもたらします。
論文 参考訳(メタデータ) (2021-03-02T18:59:42Z) - Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D
Shapes [77.6741486264257]
本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。
我々の表現は、以前の作品に比べてレンダリング速度の点で2~3桁の効率であることを示す。
論文 参考訳(メタデータ) (2021-01-26T18:50:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。