論文の概要: Decomposing NeRF for Editing via Feature Field Distillation
- arxiv url: http://arxiv.org/abs/2205.15585v1
- Date: Tue, 31 May 2022 07:56:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 15:20:37.452561
- Title: Decomposing NeRF for Editing via Feature Field Distillation
- Title（参考訳）: 特徴体蒸留による編集用NeRFの分解
- Authors: Sosuke Kobayashi, Eiichi Matsumoto, Vincent Sitzmann
- Abstract要約: NeRFで表現されるシーンの編集は、基礎となるコネクショナリスト表現がオブジェクト指向や構成的ではないため、難しい。
本研究では,NeRFのセマンティックなシーン分解の問題に対処し,クエリに基づく局所的な編集を可能にする。
本稿では,市販の自己監督型2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
- 参考スコア（独自算出の注目度）: 14.628761232614762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emerging neural radiance fields (NeRF) are a promising scene representation
for computer graphics, enabling high-quality 3D reconstruction and novel view
synthesis from image observations. However, editing a scene represented by a
NeRF is challenging, as the underlying connectionist representations such as
MLPs or voxel grids are not object-centric or compositional. In particular, it
has been difficult to selectively edit specific regions or objects. In this
work, we tackle the problem of semantic scene decomposition of NeRFs to enable
query-based local editing of the represented 3D scenes. We propose to distill
the knowledge of off-the-shelf, self-supervised 2D image feature extractors
such as CLIP-LSeg or DINO into a 3D feature field optimized in parallel to the
radiance field. Given a user-specified query of various modalities such as
text, an image patch, or a point-and-click selection, 3D feature fields
semantically decompose 3D space without the need for re-training and enable us
to semantically select and edit regions in the radiance field. Our experiments
validate that the distilled feature fields (DFFs) can transfer recent progress
in 2D vision and language foundation models to 3D scene representations,
enabling convincing 3D segmentation and selective editing of emerging neural
graphics representations.
- Abstract（参考訳）: 新興神経放射場(NeRF)はコンピュータグラフィックスにおける将来性のあるシーン表現であり、高品質な3D再構成と画像観察による新しいビュー合成を可能にする。
しかし、mlpやvoxelグリッドのような接続性表現はオブジェクト中心や構成的ではないため、nerfで表現されたシーンの編集は困難である。
特に特定の領域やオブジェクトを選択的に編集することは困難である。
本研究では,nerfの意味的シーン分解の問題に取り組み,表現された3dシーンのクエリベースのローカル編集を可能にする。
本稿では,CLIP-LSeg や DINO などの市販2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
テキスト,イメージパッチ,ポイント・アンド・クリック選択など,さまざまなモダリティのユーザ指定クエリを与えられた3d特徴フィールドは,再トレーニングを必要とせず,意味的に3d空間を分解する。
実験により, 蒸留された特徴場 (DFF) は近年の2次元視覚と言語基盤モデルの進歩を3次元シーン表現に伝達し, 説得力のある3次元セグメンテーションとニューラルグラフィック表現の選択的編集を可能にした。
関連論文リスト
- Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T19:00:45Z) - SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields [92.14328581392633]
放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。
提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。
この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
論文 参考訳（メタデータ） (2023-12-26T02:50:42Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳（メタデータ） (2023-12-11T18:59:31Z) - Blended-NeRF: Zero-Shot Object Generation and Blending in Existing
Neural Radiance Fields [26.85599376826124]
我々は,既存のNeRFシーンに対する特定の関心領域を編集するフレームワークであるBlended-NeRFを提案する。
入力シーンに3次元ROIボックスを配置することで局所的な編集を可能にし、ROI内で合成されたコンテンツを既存のシーンとブレンドする。
シーンに新しいオブジェクトを追加すること、既存のオブジェクトを削除/変更すること、テクスチャ変換など、いくつかの3D編集アプリケーションのためのフレームワークを示す。
論文 参考訳（メタデータ） (2023-06-22T09:34:55Z) - Local 3D Editing via 3D Distillation of CLIP Knowledge [26.429032648560018]
3Dコンテンツ操作は多くの実世界のアプリケーションにおいて重要なコンピュータビジョンタスクである。
最近提案された3D GANはニューラルレーダランスフィールド(NeRF)を用いて多種多様な光リアルな3Dコンテンツを生成することができる
テキスト入力のみを必要とする局所編集型NeRF(LENeRF)を提案する。
論文 参考訳（メタデータ） (2023-06-21T21:09:45Z) - SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing
Field [37.8162035179377]
我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。
この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。
本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
論文 参考訳（メタデータ） (2023-03-23T13:58:11Z) - Semantic 3D-aware Portrait Synthesis and Manipulation Based on
Compositional Neural Radiance Field [55.431697263581626]
セマンティックな3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。
CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。
最先端の3D-Aware GAN法と比較して,我々は高品質な3D一貫性合成を維持しつつ,きめ細かな意味領域操作を可能にする。
論文 参考訳（メタデータ） (2023-02-03T07:17:46Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳（メタデータ） (2022-12-21T00:20:01Z) - Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D
Image Representations [92.88108411154255]
本稿では,3次元シーンとして再構成可能な複数画像の解析に後者を適用する際に,高密度な2次元画像特徴抽出器を改善する手法を提案する。
本手法は,手動ラベルを使わずに,シーン固有のニューラルネットワークの文脈における意味理解を可能にするだけでなく,自己監督型2Dベースラインよりも一貫して改善されていることを示す。
論文 参考訳（メタデータ） (2022-09-07T23:24:09Z) - Editing Conditional Radiance Fields [40.685602081728554]
ニューラルラジアンスフィールド(NeRF)は、シーンごとに最適化された高品質のビュー合成をサポートするシーンモデルです。
本稿では,形状カテゴリで学習したカテゴリレベルのnrfのユーザ編集を可能にすることを検討する。
局所領域の色や形状を変更するために,粗い2次元ユーザスクリブルを3次元空間に伝播させる手法を提案する。
論文 参考訳（メタデータ） (2021-05-13T17:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。