論文の概要: NeRF-Editing: Geometry Editing of Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2205.04978v1
• Date: Tue, 10 May 2022 15:35:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 20:29:34.512754
• Title: NeRF-Editing: Geometry Editing of Neural Radiance Fields
• Title（参考訳）: nerf-editing:neural radiance fieldの幾何編集
• Authors: Yu-Jie Yuan, Yang-Tian Sun, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Lin Gao
• Abstract要約: 暗黙のニューラルレンダリングは、シーンの新規なビュー合成において大きな可能性を示している。 本研究では,シーンの暗黙的な表現に対して,ユーザが制御可能な形状変形を実行できるようにする手法を提案する。 我々のフレームワークは、合成データだけでなく、ユーザによってキャプチャされた実際のシーンでも理想的な編集結果を得ることができる。
• 参考スコア（独自算出の注目度）: 43.256317094173795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural rendering, especially Neural Radiance Field (NeRF), has shown great potential in novel view synthesis of a scene. However, current NeRF-based methods cannot enable users to perform user-controlled shape deformation in the scene. While existing works have proposed some approaches to modify the radiance field according to the user's constraints, the modification is limited to color editing or object translation and rotation. In this paper, we propose a method that allows users to perform controllable shape deformation on the implicit representation of the scene, and synthesizes the novel view images of the edited scene without re-training the network. Specifically, we establish a correspondence between the extracted explicit mesh representation and the implicit neural representation of the target scene. Users can first utilize well-developed mesh-based deformation methods to deform the mesh representation of the scene. Our method then utilizes user edits from the mesh representation to bend the camera rays by introducing a tetrahedra mesh as a proxy, obtaining the rendering results of the edited scene. Extensive experiments demonstrate that our framework can achieve ideal editing results not only on synthetic data, but also on real scenes captured by users.
• Abstract（参考訳）: 入射ニューラルレンダリング、特にニューラルレージアンスフィールド(NeRF)は、シーンの新規なビュー合成において大きな可能性を示している。 しかし,現在のNeRF方式では,シーン内でユーザが制御した形状変形を行うことができない。 既存の研究では、ユーザの制約に従って放射界を変更するアプローチが提案されているが、色編集やオブジェクトの変換や回転に限られている。 本稿では,シーンの暗黙的な表現に対してユーザが制御可能な形状変形を行えるようにし,ネットワークを再トレーニングすることなく編集シーンの新しいビューイメージを合成する手法を提案する。 具体的には,抽出したメッシュ表現とターゲットシーンの暗黙的ニューラルネットワーク表現との対応性を確立する。 ユーザはまず、よく開発されたメッシュベースの変形手法を使用して、シーンのメッシュ表現を変形することができる。 次に,メッシュ表現からのユーザ編集を利用して,テトラヘドラメッシュをプロキシとして,編集シーンのレンダリング結果を取得することにより,カメラ光を曲げる。 広範な実験により,このフレームワークは合成データだけでなく,ユーザによってキャプチャされた実環境においても,理想的な編集結果が得られることを示した。

関連論文リスト

• Neural Surface Priors for Editable Gaussian Splatting [1.4153509273019282]
  本稿では,3次元ガウススプラッティングと暗黙の面表現を組み合わせた新しい手法を提案する。 提案手法は,ニューラルサインされた距離場を用いてシーン表面を再構成する。 編集を容易にするために,視覚的および幾何学的情報を軽量な三角形スーププロキシにエンコードする。
  論文  参考訳（メタデータ） (2024-11-27T13:06:37Z)
• Mesh-Guided Neural Implicit Field Editing [42.78979161815414]
  本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。 まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。 次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。 この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:58Z)
• Neural Impostor: Editing Neural Radiance Fields with Explicit Shape Manipulation [49.852533321916844]
  マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。 我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。 合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
  論文  参考訳（メタデータ） (2023-10-09T04:07:00Z)
• SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
  我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。 我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。 本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-19T18:40:44Z)
• EditableNeRF: Editing Topologically Varying Neural Radiance Fields by Key Points [7.4100592531979625]
  エンドユーザーが動的シーンを簡単に編集できる編集可能なニューラルレイディアンスフィールドを提案する。 我々のネットワークは完全に自動的に訓練され、選択した表面キーポイントを用いてトポロジ的に変動するダイナミクスをモデル化する。 提案手法は直感的な多次元編集(最大3次元)をサポートし,入力シーケンスにない斬新なシーンを生成する。
  論文  参考訳（メタデータ） (2022-12-07T06:08:03Z)
• Deforming Radiance Fields with Cages [65.57101724686527]
  自由形放射場変形という新しい種類の放射場変形を提案する。 我々は、インターフェイスとしてケージと呼ばれる前景オブジェクトを囲む三角形のメッシュを使用します。 変形した空間から標準空間へのサンプリング点の位置と視線方向をマッピングする放射場に拡張する新しい定式化を提案する。
  論文  参考訳（メタデータ） (2022-07-25T16:08:55Z)
• NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing [39.71252429542249]
  本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。 メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。 実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-25T05:30:50Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Editing Conditional Radiance Fields [40.685602081728554]
  ニューラルラジアンスフィールド(NeRF)は、シーンごとに最適化された高品質のビュー合成をサポートするシーンモデルです。 本稿では,形状カテゴリで学習したカテゴリレベルのnrfのユーザ編集を可能にすることを検討する。 局所領域の色や形状を変更するために,粗い2次元ユーザスクリブルを3次元空間に伝播させる手法を提案する。
  論文  参考訳（メタデータ） (2021-05-13T17:59:48Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。