論文の概要: NeuralEditor: Editing Neural Radiance Fields via Manipulating Point
Clouds
- arxiv url: http://arxiv.org/abs/2305.03049v1
- Date: Thu, 4 May 2023 17:59:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 14:19:57.314326
- Title: NeuralEditor: Editing Neural Radiance Fields via Manipulating Point
Clouds
- Title(参考訳): NeuralEditor: 点雲を操作するニューラルネットワークフィールドの編集
- Authors: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang
- Abstract要約: 本稿では,ニューラル・ラディアンス・フィールド(NeRF)を一般的な形状編集タスクで編集できるニューラル・エディタを提案する。
私たちの重要な洞察は、NeRFを構築するための基盤となる構造として、明示的なポイントクラウド表現を活用することです。
NeuralEditorは、形状変形とシーン変形の両方において最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 23.397546605447285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes NeuralEditor that enables neural radiance fields (NeRFs)
natively editable for general shape editing tasks. Despite their impressive
results on novel-view synthesis, it remains a fundamental challenge for NeRFs
to edit the shape of the scene. Our key insight is to exploit the explicit
point cloud representation as the underlying structure to construct NeRFs,
inspired by the intuitive interpretation of NeRF rendering as a process that
projects or "plots" the associated 3D point cloud to a 2D image plane. To this
end, NeuralEditor introduces a novel rendering scheme based on deterministic
integration within K-D tree-guided density-adaptive voxels, which produces both
high-quality rendering results and precise point clouds through optimization.
NeuralEditor then performs shape editing via mapping associated points between
point clouds. Extensive evaluation shows that NeuralEditor achieves
state-of-the-art performance in both shape deformation and scene morphing
tasks. Notably, NeuralEditor supports both zero-shot inference and further
fine-tuning over the edited scene. Our code, benchmark, and demo video are
available at https://immortalco.github.io/NeuralEditor.
- Abstract(参考訳): 本稿では,一般的な形状編集タスクに対して,ニューラルレイディアンスフィールド(NeRF)をネイティブに編集できるニューラルエディタを提案する。
ノベルビュー合成に関する印象的な結果にもかかわらず、NeRFがシーンの形状を編集することは依然として根本的な課題である。
我々の重要な洞察は、NeRFの直感的な解釈にインスパイアされ、2次元画像平面に関連付けられた3Dポイントクラウドを投影または「プロット」するプロセスとして、NeRFを構築するための基盤構造として、明示的なポイントクラウド表現を活用することである。
この目的のために、NeuralEditorはK-D木誘導密度適応ボクセル内の決定論的統合に基づく新しいレンダリング方式を導入し、最適化により高品質なレンダリング結果と正確な点雲を生成する。
NeuralEditorは、関連するポイントをポイントクラウド間でマッピングすることで、形状編集を行う。
広範囲な評価の結果,NeuralEditorは形状変形とシーン変形の両タスクにおいて最先端の性能を発揮することがわかった。
特に、NeuralEditorはゼロショット推論と、編集シーンのさらなる微調整の両方をサポートしている。
私たちのコード、ベンチマーク、デモビデオはhttps://immortalco.github.io/neuraleditor.com/で閲覧できます。
関連論文リスト
- SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural
Radiance Fields [7.678022563694719]
SealD-NeRFは、動的な設定でピクセルレベルの編集を行うためのSeal-3Dの拡張である。
編集アクションを特定の時間枠にマッピングすることで、シーケンス間で一貫した編集を可能にする。
論文 参考訳(メタデータ) (2024-02-21T03:45:18Z) - CNS-Edit: 3D Shape Editing via Coupled Neural Shape Optimization [56.47175002368553]
本稿では、3次元形状編集を潜在空間で暗黙的に行うために,結合表現とニューラルボリューム最適化に基づく新しい手法を提案する。
まず,3次元形状編集を支援する結合型ニューラル形状表現を設計する。
第二に、結合したニューラルネットワークの形状最適化手順を定式化し、編集操作対象の2つの結合した成分を協調最適化する。
論文 参考訳(メタデータ) (2024-02-04T01:52:56Z) - LatentEditor: Text Driven Local Editing of 3D Scenes [8.966537479017951]
テキストプロンプトを用いたニューラルネットワークの精密かつ局所的な編集のためのフレームワークであるtextscLatentEditorを紹介する。
現実のシーンを潜伏空間に埋め込むことに成功したので、より高速で適応性の高いNeRFバックボーンが編集に役立ちます。
提案手法は既存の3D編集モデルと比較して高速な編集速度と出力品質を実現する。
論文 参考訳(メタデータ) (2023-12-14T19:38:06Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳(メタデータ) (2023-12-11T18:59:31Z) - 4D-Editor: Interactive Object-level Editing in Dynamic Neural Radiance
Fields via Semantic Distillation [2.027159474140712]
動的NeRFを編集するための対話型セマンティック駆動編集フレームワークである4D-Editorを提案する。
我々は,編集後の空間的時間的一貫性を維持するために,ハイブリッドな意味的特徴蒸留を取り入れたオリジナルの動的NeRFの拡張を提案する。
さらに,編集後のシーンキャプチャによる穴を埋めるマルチビュー・リジェクション・インペインティングを開発した。
論文 参考訳(メタデータ) (2023-10-25T02:20:03Z) - ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context [26.07841568311428]
メモリフットプリントを低く保ちながら、高速で効率的な、非常にシンプルで効果的なニューラルネットワークアーキテクチャを提案する。
我々の表現は、訓練段階における意味的特徴蒸留による簡単なオブジェクト選択を可能にする。
局所的な3D対応画像コンテキストを提案し、ビュー一貫性のある画像編集を容易にし、微調整されたNeRFに抽出する。
論文 参考訳(メタデータ) (2023-10-15T21:54:45Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳(メタデータ) (2023-10-09T04:07:00Z) - Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。
様々な編集タイプを展示するために、NeRF編集システムを構築している。
論文 参考訳(メタデータ) (2023-07-27T18:08:19Z) - DreamEditor: Text-Driven 3D Scene Editing with Neural Fields [115.07896366760876]
テキストプロンプトを用いてニューラルフィールドを編集できる新しいフレームワークを提案する。
DreamEditorは非常に現実的なテクスチャと幾何学を生成し、量的および質的な評価において、以前の作品を大きく上回っている。
論文 参考訳(メタデータ) (2023-06-23T11:53:43Z) - SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。
我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。
本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
論文 参考訳(メタデータ) (2023-03-19T18:40:44Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳(メタデータ) (2020-10-15T03:24:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。