論文の概要: Editing Conditional Radiance Fields
- arxiv url: http://arxiv.org/abs/2105.06466v1
- Date: Thu, 13 May 2021 17:59:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 15:25:01.776339
- Title: Editing Conditional Radiance Fields
- Title（参考訳）: 条件放射場を編集する
- Authors: Steven Liu, Xiuming Zhang, Zhoutong Zhang, Richard Zhang, Jun-Yan Zhu,
Bryan Russell
- Abstract要約: ニューラルラジアンスフィールド(NeRF)は、シーンごとに最適化された高品質のビュー合成をサポートするシーンモデルです。
本稿では,形状カテゴリで学習したカテゴリレベルのnrfのユーザ編集を可能にすることを検討する。
局所領域の色や形状を変更するために,粗い2次元ユーザスクリブルを3次元空間に伝播させる手法を提案する。
- 参考スコア（独自算出の注目度）: 40.685602081728554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A neural radiance field (NeRF) is a scene model supporting high-quality view
synthesis, optimized per scene. In this paper, we explore enabling user editing
of a category-level NeRF - also known as a conditional radiance field - trained
on a shape category. Specifically, we introduce a method for propagating coarse
2D user scribbles to the 3D space, to modify the color or shape of a local
region. First, we propose a conditional radiance field that incorporates new
modular network components, including a shape branch that is shared across
object instances. Observing multiple instances of the same category, our model
learns underlying part semantics without any supervision, thereby allowing the
propagation of coarse 2D user scribbles to the entire 3D region (e.g., chair
seat). Next, we propose a hybrid network update strategy that targets specific
network components, which balances efficiency and accuracy. During user
interaction, we formulate an optimization problem that both satisfies the
user's constraints and preserves the original object structure. We demonstrate
our approach on various editing tasks over three shape datasets and show that
it outperforms prior neural editing approaches. Finally, we edit the appearance
and shape of a real photograph and show that the edit propagates to
extrapolated novel views.
- Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、シーンごとに最適化された高品質なビュー合成をサポートするシーンモデルである。
本稿では, 形状カテゴリーで学習したカテゴリレベルのNeRF(条件放射場)のユーザ編集を可能にする方法について検討する。
具体的には,局所領域の色や形状を変更するために,粗い2Dユーザを3次元空間に伝播する手法を提案する。
まず、オブジェクトインスタンス間で共有される形状分岐を含む、新しいモジュラーネットワークコンポーネントを組み込んだ条件付き放射場を提案する。
同じカテゴリの複数のインスタンスを観測することで、我々のモデルは、監督なしに基礎となる部分の意味を学習し、3D領域全体(例えば椅子座)に粗い2Dユーザスクリブルの伝播を可能にする。
次に,効率と精度のバランスをとる特定のネットワークコンポーネントを対象としたハイブリッドネットワーク更新戦略を提案する。
ユーザインタラクションでは、ユーザの制約を満たす最適化問題を定式化し、元のオブジェクト構造を保存する。
3つの形状データセット上の様々な編集タスクに対する我々のアプローチを実証し、従来のニューラル編集手法よりも優れていることを示す。
最後に、実際の写真の外観と形状を編集し、その編集が新規なビューの外挿に伝播することを示す。
関連論文リスト
- CNS-Edit: 3D Shape Editing via Coupled Neural Shape Optimization [56.47175002368553]
本稿では、3次元形状編集を潜在空間で暗黙的に行うために,結合表現とニューラルボリューム最適化に基づく新しい手法を提案する。
まず,3次元形状編集を支援する結合型ニューラル形状表現を設計する。
第二に、結合したニューラルネットワークの形状最適化手順を定式化し、編集操作対象の2つの結合した成分を協調最適化する。
論文 参考訳（メタデータ） (2024-02-04T01:52:56Z) - SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields [92.14328581392633]
放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。
提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。
この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
論文 参考訳（メタデータ） (2023-12-26T02:50:42Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳（メタデータ） (2023-12-11T18:59:31Z) - Mesh-Guided Neural Implicit Field Editing [42.78979161815414]
本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。
まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。
次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。
この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
論文 参考訳（メタデータ） (2023-12-04T18:59:58Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳（メタデータ） (2023-10-09T04:07:00Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳（メタデータ） (2022-12-21T00:20:01Z) - Decomposing NeRF for Editing via Feature Field Distillation [14.628761232614762]
NeRFで表現されるシーンの編集は、基礎となるコネクショナリスト表現がオブジェクト指向や構成的ではないため、難しい。
本研究では,NeRFのセマンティックなシーン分解の問題に対処し,クエリに基づく局所的な編集を可能にする。
本稿では,市販の自己監督型2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
論文 参考訳（メタデータ） (2022-05-31T07:56:09Z) - NeRF-Editing: Geometry Editing of Neural Radiance Fields [43.256317094173795]
暗黙のニューラルレンダリングは、シーンの新規なビュー合成において大きな可能性を示している。
本研究では,シーンの暗黙的な表現に対して,ユーザが制御可能な形状変形を実行できるようにする手法を提案する。
我々のフレームワークは、合成データだけでなく、ユーザによってキャプチャされた実際のシーンでも理想的な編集結果を得ることができる。
論文 参考訳（メタデータ） (2022-05-10T15:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。