論文の概要: PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2212.10699v1
- Date: Wed, 21 Dec 2022 00:20:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 15:30:35.318628
- Title: PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields
- Title（参考訳）: palettenerf:パレットを用いた神経放射野の外観編集
- Authors: Zhengfei Kuang, Fujun Luan, Sai Bi, Zhixin Shu, Gordon Wetzstein,
Kalyan Sunkavalli
- Abstract要約: 本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
- 参考スコア（独自算出の注目度）: 60.66412075837952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in neural radiance fields have enabled the high-fidelity 3D
reconstruction of complex scenes for novel view synthesis. However, it remains
underexplored how the appearance of such representations can be efficiently
edited while maintaining photorealism.
In this work, we present PaletteNeRF, a novel method for photorealistic
appearance editing of neural radiance fields (NeRF) based on 3D color
decomposition. Our method decomposes the appearance of each 3D point into a
linear combination of palette-based bases (i.e., 3D segmentations defined by a
group of NeRF-type functions) that are shared across the scene. While our
palette-based bases are view-independent, we also predict a view-dependent
function to capture the color residual (e.g., specular shading). During
training, we jointly optimize the basis functions and the color palettes, and
we also introduce novel regularizers to encourage the spatial coherence of the
decomposition.
Our method allows users to efficiently edit the appearance of the 3D scene by
modifying the color palettes. We also extend our framework with compressed
semantic features for semantic-aware appearance editing. We demonstrate that
our technique is superior to baseline methods both quantitatively and
qualitatively for appearance editing of complex real-world scenes.
- Abstract（参考訳）: 近年の神経放射場の発展により、複雑なシーンの高忠実度3次元再構成が実現された。
しかし、このような表現の外観が光リアリズムを維持しながらどのように効率的に編集できるかは未解明のままである。
本研究では,3次元色分解に基づくニューラルレイディアンスフィールド(NeRF)の光リアルな外観編集手法であるPaletteNeRFを提案する。
本研究では,各3次元点の出現を,シーン間で共有されるパレットベース(NeRF型関数群で定義される3次元セグメンテーション)の線形結合に分解する。
パレットベースのベースはビューに依存しないが、色残基(例えば、スペクトルシェーディング)をキャプチャするビュー依存関数も予測する。
トレーニング中,基本関数とカラーパレットを協調的に最適化し,分解の空間的コヒーレンスを促進するために新しい正規化器を導入する。
本手法では,カラーパレットを改良することにより,3Dシーンの外観を効率よく編集することができる。
また、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張しました。
本手法は,複雑な実世界のシーンの外観編集において,定量的かつ質的にベースライン手法よりも優れていることを示す。
関連論文リスト
- Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳（メタデータ） (2023-12-11T18:59:31Z) - Mesh-Guided Neural Implicit Field Editing [42.78979161815414]
本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。
まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。
次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。
この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
論文 参考訳（メタデータ） (2023-12-04T18:59:58Z) - UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose
rendering, Geometry and Texture Editing [83.0396740127043]
テクスチャとテクスチャの両方を局所的に編集できるtextbfUnified textbfVolumetric textbfAvatar (textbfUVA) という新しいアプローチを提案する。
UVAは、各観測点をスキン運動場を用いて標準空間に変換し、別々の神経場における幾何学とテクスチャを表現する。
複数の人体アバターの実験により、UVAが新しいビュー合成と新しいポーズレンダリングを実現していることが示された。
論文 参考訳（メタデータ） (2023-04-14T07:39:49Z) - RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color
Editing of 3D Scenes [21.284044381058575]
本稿では,ニューラルラジアンスフィールドのための新しいユーザフレンドリーなカラー編集手法であるRecolorNeRFを提案する。
私たちのキーとなるアイデアは、シーンを純粋な色の層に分解し、パレットを形成することです。
効率的なパレットベースの編集をサポートするには、各レイヤの色を可能な限り表現する必要がある。
論文 参考訳（メタデータ） (2023-01-19T09:18:06Z) - Decomposing NeRF for Editing via Feature Field Distillation [14.628761232614762]
NeRFで表現されるシーンの編集は、基礎となるコネクショナリスト表現がオブジェクト指向や構成的ではないため、難しい。
本研究では,NeRFのセマンティックなシーン分解の問題に対処し,クエリに基づく局所的な編集を可能にする。
本稿では,市販の自己監督型2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
論文 参考訳（メタデータ） (2022-05-31T07:56:09Z) - Control-NeRF: Editable Feature Volumes for Scene Rendering and
Manipulation [58.16911861917018]
高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。
モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。
我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
論文 参考訳（メタデータ） (2022-04-22T17:57:00Z) - Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。
提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。
訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
論文 参考訳（メタデータ） (2021-08-23T09:44:56Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。