論文の概要: Parameterization-driven Neural Implicit Surfaces Editing
- arxiv url: http://arxiv.org/abs/2310.05524v2
- Date: Mon, 18 Dec 2023 02:11:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 22:34:50.274469
- Title: Parameterization-driven Neural Implicit Surfaces Editing
- Title(参考訳): パラメータ化駆動型ニューラルインシシト表面編集
- Authors: Baixin Xu and Jiangbei Hu and Fei Hou and Kwan-Yee Lin and Wayne Wu
and Chen Qian and Ying He
- Abstract要約: 神経暗示面を単純なパラメトリック領域にパラメータ化するための新しいニューラルネットワークを提案する。
提案手法は3次元オブジェクトとその選択したパラメトリック領域間の双方向の変形を計算する。
我々はまた、ビュー非依存の材料編集とビュー依存のシェーディング編集の両方を容易にし、内在的放射分解の簡易かつ効果的な手法も導入した。
- 参考スコア(独自算出の注目度): 37.48581817960415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing capabilities of neural rendering have increased the demand for
new techniques that enable intuitive editing of 3D objects, particularly when
they are represented as neural implicit surfaces. In this paper, we present a
novel neural algorithm to parameterize neural implicit surfaces to simple
parametric domains, such as spheres, cubes, or polycubes, thereby facilitating
visualization and various editing tasks. Technically, our method computes a
bi-directional deformation between 3D objects and their chosen parametric
domains, eliminating the need for any prior information. We adopt a forward
mapping of points on the zero level set of the 3D object to a parametric
domain, followed by a backward mapping through inverse deformation. To ensure
the map is bijective, we employ a cycle loss while optimizing the smoothness of
both deformations. Additionally, we leverage a Laplacian regularizer to
effectively control angle distortion and offer the flexibility to choose from a
range of parametric domains for managing area distortion. Designed for
compatibility, our framework integrates seamlessly with existing neural
rendering pipelines, taking multi-view images as input to reconstruct 3D
geometry and compute the corresponding texture map. We also introduce a simple
yet effective technique for intrinsic radiance decomposition, facilitating both
view-independent material editing and view-dependent shading editing. Our
method allows for the immediate rendering of edited textures through volume
rendering, without the need for network re-training. Moreover, our approach
supports the co-parameterization of multiple objects and enables texture
transfer between them. We demonstrate the effectiveness of our method on images
of human heads and man-made objects. We will make the source code publicly
available.
- Abstract(参考訳): ニューラルレンダリングの能力の増大は、3Dオブジェクトの直感的な編集を可能にする新しい技術、特にニューラルな暗黙の表面として表現される場合の需要を増大させている。
本稿では,ニューラル暗黙曲面を球面,立方体,ポリキューブなどの単純なパラメトリック領域にパラメータ化することで,可視化と様々な編集作業を容易にする新しいニューラルアルゴリズムを提案する。
技術的には、3dオブジェクトとその選択したパラメトリックドメイン間の双方向変形を計算し、事前情報の必要性をなくす。
我々は、3次元物体の零レベル集合上の点の前方マッピングをパラメトリック領域に適用し、次に逆変形による後方マッピングを行う。
写像が単射であることを保証するために、両方の変形の滑らかさを最適化しながらサイクルロスを用いる。
さらに,ラプラシアン正則化器を用いて角度歪みを効果的に制御し,領域歪みを管理するためのパラメトリック領域から選択する柔軟性を提供する。
このフレームワークは、既存のニューラルネットワークレンダリングパイプラインとシームレスに統合され、マルチビューイメージを入力として、3dジオメトリを再構築し、対応するテクスチャマップを計算します。
また,本質的放射光分解のための簡易かつ効果的な手法も導入し,ビュー非依存の素材編集とビュー依存のシェーディング編集を両立させる。
本手法は,ネットワーク再トレーニングを必要とせず,ボリュームレンダリングによる編集テクスチャの即時レンダリングを可能にする。
さらに,複数のオブジェクトの共パラメータ化をサポートし,それらの間のテクスチャ転送を可能にする。
本手法が人間の頭部と人工物の画像に与える影響を実証する。
ソースコードを公開します。
関連論文リスト
- CNS-Edit: 3D Shape Editing via Coupled Neural Shape Optimization [56.47175002368553]
本稿では、3次元形状編集を潜在空間で暗黙的に行うために,結合表現とニューラルボリューム最適化に基づく新しい手法を提案する。
まず,3次元形状編集を支援する結合型ニューラル形状表現を設計する。
第二に、結合したニューラルネットワークの形状最適化手順を定式化し、編集操作対象の2つの結合した成分を協調最適化する。
論文 参考訳(メタデータ) (2024-02-04T01:52:56Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳(メタデータ) (2023-10-09T04:07:00Z) - Neural Textured Deformable Meshes for Robust Analysis-by-Synthesis [17.920305227880245]
本稿では, 近似解析を用いた三重視覚タスクを一貫した方法で定式化する。
実世界の画像で評価すると、従来のニューラルネットワークよりも、我々の分析バイシンセシスの方がはるかに堅牢であることが示される。
論文 参考訳(メタデータ) (2023-05-31T18:45:02Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。
曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。
パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
論文 参考訳(メタデータ) (2022-12-08T16:29:46Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields [40.543998582101146]
ニューラル放射場における幾何と外観の編集とデカップリングを可能にするNeRFFaceEditingを導入する。
提案手法では,ユーザが幾何学と外観の分離した制御を施したセマンティックマスクによる編集が可能となる。
定性的かつ定量的な評価は,既存の解や代替解と比較して,本手法の幾何学的・外見的制御能力に優れていることを示す。
論文 参考訳(メタデータ) (2022-11-15T08:11:39Z) - NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
論文 参考訳(メタデータ) (2022-10-22T04:57:55Z) - 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。
メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
論文 参考訳(メタデータ) (2022-09-28T10:05:16Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。