論文の概要: Parameterization-driven Neural Surface Reconstruction for Object-oriented Editing in Neural Rendering
- arxiv url: http://arxiv.org/abs/2310.05524v3
- Date: Sat, 13 Jul 2024 09:46:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 04:48:58.634270
- Title: Parameterization-driven Neural Surface Reconstruction for Object-oriented Editing in Neural Rendering
- Title（参考訳）: ニューラルレンダリングにおけるオブジェクト指向編集のためのパラメータ化駆動型ニューラルサーフェス再構成
- Authors: Baixin Xu, Jiangbei Hu, Fei Hou, Kwan-Yee Lin, Wayne Wu, Chen Qian, Ying He,
- Abstract要約: 本稿では,ニューラル暗黙表面を球面やポリキューブのような単純なパラメトリック領域にパラメータ化するための新しいニューラルアルゴリズムを提案する。
オブジェクトのゼロレベルセットからの前方マッピングと後方マッピングのための逆変形を用いて、オブジェクトとドメイン間の双方向の変形を計算する。
本手法の有効性を人間の頭部と人工物の画像に示す。
- 参考スコア（独自算出の注目度）: 35.69582529609475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advancements in neural rendering have increased the need for techniques that enable intuitive editing of 3D objects represented as neural implicit surfaces. This paper introduces a novel neural algorithm for parameterizing neural implicit surfaces to simple parametric domains like spheres and polycubes. Our method allows users to specify the number of cubes in the parametric domain, learning a configuration that closely resembles the target 3D object's geometry. It computes bi-directional deformation between the object and the domain using a forward mapping from the object's zero level set and an inverse deformation for backward mapping. We ensure nearly bijective mapping with a cycle loss and optimize deformation smoothness. The parameterization quality, assessed by angle and area distortions, is guaranteed using a Laplacian regularizer and an optimized learned parametric domain. Our framework integrates with existing neural rendering pipelines, using multi-view images of a single object or multiple objects of similar geometries to reconstruct 3D geometry and compute texture maps automatically, eliminating the need for any prior information. We demonstrate the method's effectiveness on images of human heads and man-made objects.
- Abstract（参考訳）: ニューラルレンダリングの進歩により、ニューラルな暗黙の表面として表される3Dオブジェクトの直感的な編集を可能にする技術の必要性が高まっている。
本稿では,ニューラル暗黙表面を球面やポリキューブのような単純なパラメトリック領域にパラメータ化するための新しいニューラルアルゴリズムを提案する。
本手法では, 3次元オブジェクトの形状によく似た構成を学習し, パラメトリック領域内の立方体数を指定できる。
オブジェクトのゼロレベルセットからの前方マッピングと後方マッピングのための逆変形を用いて、オブジェクトとドメイン間の双方向の変形を計算する。
サイクル損失を伴うほぼ単射写像を確実にし、変形の滑らかさを最適化する。
パラメータ化の品質は、角度と面積の歪みによって評価され、ラプラシア正規化器と最適化されたパラメトリック領域を用いて保証される。
我々のフレームワークは既存のニューラルネットワークのレンダリングパイプラインと統合されており、単一のオブジェクトのマルチビューイメージや類似したジオメトリの複数のオブジェクトを使用して3次元形状を再構成し、テクスチャマップを自動で計算することで、事前情報を必要としない。
本手法の有効性を人間の頭部と人工物の画像に示す。
関連論文リスト
- ParaPoint: Learning Global Free-Boundary Surface Parameterization of 3D Point Clouds [52.03819676074455]
ParaPointは、グローバルな自由境界面パラメータ化を実現するための教師なしのニューラルネットワークパイプラインである。
この研究は、グローバルマッピングと自由境界の両方を追求するニューラルポイントクラウドパラメータ化を調査する最初の試みである。
論文 参考訳（メタデータ） (2024-03-15T14:35:05Z) - Neural Textured Deformable Meshes for Robust Analysis-by-Synthesis [17.920305227880245]
本稿では, 近似解析を用いた三重視覚タスクを一貫した方法で定式化する。
実世界の画像で評価すると、従来のニューラルネットワークよりも、我々の分析バイシンセシスの方がはるかに堅牢であることが示される。
論文 参考訳（メタデータ） (2023-05-31T18:45:02Z) - 3D Surface Reconstruction in the Wild by Deforming Shape Priors from
Synthetic Data [24.97027425606138]
1枚の画像から被写体の3次元表面を再構築することは難しい問題である。
本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。
提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
論文 参考訳（メタデータ） (2023-02-24T20:37:27Z) - Explicit3D: Graph Network with Spatial Inference for Single Image 3D
Object Detection [35.85544715234846]
本稿では,オブジェクトの幾何学的特徴と意味論的特徴に基づいて,Explicit3Dという動的スパースグラフパイプラインを提案する。
SUN RGB-Dデータセットによる実験結果から,我々のExplicit3Dは最先端技術よりも優れた性能バランスを実現することが示された。
論文 参考訳（メタデータ） (2023-02-13T16:19:54Z) - NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
論文 参考訳（メタデータ） (2022-10-22T04:57:55Z) - Uncertainty Guided Policy for Active Robotic 3D Reconstruction using
Neural Radiance Fields [82.21033337949757]
本稿では,物体の暗黙のニューラル表現の各光線に沿ったカラーサンプルの重量分布のエントロピーを計算した線量不確実性推定器を提案する。
提案した推定器を用いた新しい視点から, 基礎となる3次元形状の不確かさを推測することが可能であることを示す。
ニューラルラディアンス場に基づく表現における線量不確実性によって導かれる次ベクター選択ポリシーを提案する。
論文 参考訳（メタデータ） (2022-09-17T21:28:57Z) - Learnable Triangulation for Deep Learning-based 3D Reconstruction of
Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。
提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
論文 参考訳（メタデータ） (2021-09-24T09:44:22Z) - Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and
Visual Geometry [3.970492757288025]
本稿では,深層学習と幾何学的手法に基づくハイブリッド手法を用いて,複数の画像から3次元頭部を再構築する手法を提案する。
U-netアーキテクチャに基づくエンコーダデコーダネットワークを提案し、合成データのみを学習する。
論文 参考訳（メタデータ） (2021-04-28T11:31:35Z) - Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible
Neural Networks [118.20778308823779]
Invertible Neural Network (INN) を用いてプリミティブを定義する新しい3次元プリミティブ表現を提案する。
私たちのモデルは、部品レベルの監督なしに3Dオブジェクトを意味的に一貫した部品配置に解析することを学びます。
論文 参考訳（メタデータ） (2021-03-18T17:59:31Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳（メタデータ） (2020-08-18T06:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。