論文の概要: Explicifying Neural Implicit Fields for Efficient Dynamic Human Avatar Modeling via a Neural Explicit Surface

• arxiv url: http://arxiv.org/abs/2308.05112v1
• Date: Mon, 7 Aug 2023 07:17:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 14:58:35.950061
• Title: Explicifying Neural Implicit Fields for Efficient Dynamic Human Avatar Modeling via a Neural Explicit Surface
• Title（参考訳）: ニューラルネットワークによる効率的な動的アバターモデリングのための神経インシシシト場の拡張
• Authors: Ruiqi Zhang and Jie Chen and Qiang Wang
• Abstract要約: 暗黙のニューラルネットワークは、ダイナミックな3Dコンテンツのモデリングにおいて、従来の明示的な表現よりも有利である。 本稿では,暗黙のニューラルネットワークを明示的に表現するために,ニューラル・エクスプリシト・サーフェス(NES)の利用を提案する。 NESは従来の3Dアプローチと同様に、レンダリング速度を大幅に改善し、メモリコストを削減した。
• 参考スコア（独自算出の注目度）: 10.604108229704336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a technique for efficiently modeling dynamic humans by explicifying the implicit neural fields via a Neural Explicit Surface (NES). Implicit neural fields have advantages over traditional explicit representations in modeling dynamic 3D content from sparse observations and effectively representing complex geometries and appearances. Implicit neural fields defined in 3D space, however, are expensive to render due to the need for dense sampling during volumetric rendering. Moreover, their memory efficiency can be further optimized when modeling sparse 3D space. To overcome these issues, the paper proposes utilizing Neural Explicit Surface (NES) to explicitly represent implicit neural fields, facilitating memory and computational efficiency. To achieve this, the paper creates a fully differentiable conversion between the implicit neural fields and the explicit rendering interface of NES, leveraging the strengths of both implicit and explicit approaches. This conversion enables effective training of the hybrid representation using implicit methods and efficient rendering by integrating the explicit rendering interface with a newly proposed rasterization-based neural renderer that only incurs a texture color query once for the initial ray interaction with the explicit surface, resulting in improved inference efficiency. NES describes dynamic human geometries with pose-dependent neural implicit surface deformation fields and their dynamic neural textures both in 2D space, which is a more memory-efficient alternative to traditional 3D methods, reducing redundancy and computational load. The comprehensive experiments show that NES performs similarly to previous 3D approaches, with greatly improved rendering speed and reduced memory cost.
• Abstract（参考訳）: 本稿では,ニューラル・エクスプリシト・サーフェス(NES)を用いて暗黙のニューラルネットワークを明示することで,動的人間を効率的にモデル化する手法を提案する。 暗黙のニューラルネットワークは、スパース観測からダイナミックな3Dコンテンツをモデル化し、複雑な測地や外観を効果的に表現する際に、従来の明示的な表現よりも有利である。 しかし、3d空間で定義される暗黙のニューラルフィールドは、ボリュームレンダリング中に濃密なサンプリングを必要とするため、レンダリングが高価である。 さらに、メモリ効率はスパース3d空間のモデリング時にさらに最適化できる。 これらの問題を克服するために、暗黙的なニューラルネットワークを明示的に表現し、メモリと計算効率を高めるためにNeural Explicit Surface(NES)の利用を提案する。 これを実現するために、この論文は暗黙のニューラルネットワークとNESの明示的なレンダリングインターフェースとを完全に区別可能な変換を作成し、暗黙のアプローチと明示的なアプローチの両方の長所を活用する。 この変換により、暗黙の方法でハイブリッド表現を効果的に訓練することができ、明示的なレンダリングインターフェースをラスタライズベースのニューラルレンダラーと統合することで、明示的な表面との初期の光線相互作用に一度だけテクスチャカラークエリを発生させることができ、推論効率が向上する。 NESは、ポーズ依存のニューラルな暗黙の表面変形場と、2D空間の両方のダイナミックなニューラルテクスチャを持つ動的ヒューマンジオメトリを記述しており、これは従来の3D手法よりもメモリ効率が良いため、冗長性と計算負荷を低減している。 総合的な実験により、NESは以前の3Dアプローチと同様の性能を示し、レンダリング速度を大幅に改善し、メモリコストを削減した。

関連論文リスト

• Magnituder Layers for Implicit Neural Representations in 3D [23.135779936528333]
  我々は、"magnituder"と呼ばれる新しいニューラルネットワーク層を導入する。 標準フィードフォワード層にマグニチュードを組み込むことで、推論速度と適応性を向上する。 我々のアプローチは、訓練された暗黙的ニューラル表現モデルにおいてゼロショットのパフォーマンス向上を可能にする。
  論文  参考訳（メタデータ） (2024-10-13T08:06:41Z)
• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
  本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
  論文  参考訳（メタデータ） (2024-05-31T14:35:35Z)
• A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
  近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。 3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。 本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。 実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-28T07:12:22Z)
• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
  最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。 曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。 パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
  論文  参考訳（メタデータ） (2022-12-08T16:29:46Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。