論文の概要: ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context
- arxiv url: http://arxiv.org/abs/2310.09965v3
- Date: Tue, 23 Apr 2024 10:03:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 19:55:12.566312
- Title: ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context
- Title（参考訳）: ProteusNeRF:3次元画像コンテキストを用いた高速軽量NeRF編集
- Authors: Binglun Wang, Niladri Shekhar Dutt, Niloy J. Mitra,
- Abstract要約: メモリフットプリントを低く保ちながら、高速で効率的な、非常にシンプルで効果的なニューラルネットワークアーキテクチャを提案する。
我々の表現は、訓練段階における意味的特徴蒸留による簡単なオブジェクト選択を可能にする。
局所的な3D対応画像コンテキストを提案し、ビュー一貫性のある画像編集を容易にし、微調整されたNeRFに抽出する。
- 参考スコア（独自算出の注目度）: 26.07841568311428
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Fields (NeRFs) have recently emerged as a popular option for photo-realistic object capture due to their ability to faithfully capture high-fidelity volumetric content even from handheld video input. Although much research has been devoted to efficient optimization leading to real-time training and rendering, options for interactive editing NeRFs remain limited. We present a very simple but effective neural network architecture that is fast and efficient while maintaining a low memory footprint. This architecture can be incrementally guided through user-friendly image-based edits. Our representation allows straightforward object selection via semantic feature distillation at the training stage. More importantly, we propose a local 3D-aware image context to facilitate view-consistent image editing that can then be distilled into fine-tuned NeRFs, via geometric and appearance adjustments. We evaluate our setup on a variety of examples to demonstrate appearance and geometric edits and report 10-30x speedup over concurrent work focusing on text-guided NeRF editing. Video results can be seen on our project webpage at https://proteusnerf.github.io.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、ハンドヘルドビデオ入力からでも高忠実度ボリュームコンテンツを忠実にキャプチャできるため、フォトリアリスティック・オブジェクトキャプチャの一般的な選択肢として最近登場した。
リアルタイムのトレーニングとレンダリングに繋がる効率的な最適化に多くの研究が注がれているが、インタラクティブな編集のためのNeRFの選択肢は限られている。
メモリフットプリントを低く保ちながら、高速で効率的な、非常にシンプルで効果的なニューラルネットワークアーキテクチャを提案する。
このアーキテクチャは、ユーザフレンドリーなイメージベースの編集を通じて、段階的にガイドすることができる。
我々の表現は、訓練段階における意味的特徴蒸留による簡単なオブジェクト選択を可能にする。
より重要なことは、幾何学的および外観的調整により、細調整されたNeRFに蒸留できるビュー一貫性画像編集を容易にするために、局所的な3D対応画像コンテキストを提案することである。
テキスト誘導型NeRF編集に焦点をあてた同時作業に対して,外観と幾何学的編集を実演し,10～30倍の高速化を報告した。
ビデオ結果は、プロジェクトのWebページ(https://proteusnerf.github.io.)で見ることができる。
関連論文リスト
- NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。
我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。
以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
論文 参考訳（メタデータ） (2024-04-30T02:04:49Z) - SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural
Radiance Fields [7.678022563694719]
SealD-NeRFは、動的な設定でピクセルレベルの編集を行うためのSeal-3Dの拡張である。
編集アクションを特定の時間枠にマッピングすることで、シーケンス間で一貫した編集を可能にする。
論文 参考訳（メタデータ） (2024-02-21T03:45:18Z) - ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF [60.47731445033151]
ED-NeRFと呼ばれる新しい3次元NeRF編集手法を提案する。
現実のシーンを、ユニークな精細化層を通して、潜時拡散モデル(LDM)の潜時空間に埋め込む。
このアプローチにより、より高速であるだけでなく、より編集しやすいNeRFバックボーンが得られる。
論文 参考訳（メタデータ） (2023-10-04T10:28:38Z) - Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。
様々な編集タイプを展示するために、NeRF編集システムを構築している。
論文 参考訳（メタデータ） (2023-07-27T18:08:19Z) - RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。
具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。
実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
論文 参考訳（メタデータ） (2023-06-09T04:49:31Z) - FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and
Relighting with Diffusion Models [67.17713009917095]
単一画像から高品質な顔NeRFを再構成する新しい生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。
慎重に設計された照明とID保存損失により、FaceDNeRFは編集プロセスの非並列制御を提供する。
論文 参考訳（メタデータ） (2023-06-01T15:14:39Z) - SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing
Field [37.8162035179377]
我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。
この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。
本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
論文 参考訳（メタデータ） (2023-03-23T13:58:11Z) - Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual
Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。
NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。
我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文 参考訳（メタデータ） (2021-12-20T17:40:48Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳（メタデータ） (2021-04-13T17:59:51Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-03-29T13:15:23Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳（メタデータ） (2020-12-03T18:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。