論文の概要: LAENeRF: Local Appearance Editing for Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2312.09913v1
- Date: Fri, 15 Dec 2023 16:23:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 15:07:48.573593
- Title: LAENeRF: Local Appearance Editing for Neural Radiance Fields
- Title(参考訳): LAENeRF:ニューラルラジアンスフィールドのための局所的な外観編集
- Authors: Lukas Radl, Michael Steiner, Andreas Kurz, Markus Steinberger
- Abstract要約: LAENeRFは、NeRFのフォトリアリスティックおよびノンフォトリアリスティックな外観編集のためのフレームワークである。
我々は、予想される線量から最終的な出力色へのマッピングを学習し、スタイルロスによって教師できる。
マッピングのために1光線当たりの1点を頼りにすることで、メモリ要件を制限し、高速な最適化を可能にします。
- 参考スコア(独自算出の注目度): 5.114520232149283
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Due to the omnipresence of Neural Radiance Fields (NeRFs), the interest
towards editable implicit 3D representations has surged over the last years.
However, editing implicit or hybrid representations as used for NeRFs is
difficult due to the entanglement of appearance and geometry encoded in the
model parameters. Despite these challenges, recent research has shown first
promising steps towards photorealistic and non-photorealistic appearance edits.
The main open issues of related work include limited interactivity, a lack of
support for local edits and large memory requirements, rendering them less
useful in practice. We address these limitations with LAENeRF, a unified
framework for photorealistic and non-photorealistic appearance editing of
NeRFs. To tackle local editing, we leverage a voxel grid as starting point for
region selection. We learn a mapping from expected ray terminations to final
output color, which can optionally be supervised by a style loss, resulting in
a framework which can perform photorealistic and non-photorealistic appearance
editing of selected regions. Relying on a single point per ray for our mapping,
we limit memory requirements and enable fast optimization. To guarantee
interactivity, we compose the output color using a set of learned, modifiable
base colors, composed with additive layer mixing. Compared to concurrent work,
LAENeRF enables recoloring and stylization while keeping processing time low.
Furthermore, we demonstrate that our approach surpasses baseline methods both
quantitatively and qualitatively.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)の完全解釈のため、編集可能な暗黙的な3D表現への関心はここ数年で急増している。
しかし, モデルパラメータにエンコードされた外観や形状の絡み合いのため, 暗黙的表現やハイブリッド表現の編集は困難である。
これらの課題にもかかわらず、最近の研究は、フォトリアリスティックおよび非フォトリアリスティックな外観編集への最初の有望なステップを示している。
関連する作業の主な問題は、対話性の制限、ローカル編集のサポートの欠如、大きなメモリ要件などであり、実際にはあまり役に立たない。
我々はこれらの制限を、NeRFのフォトリアリスティックおよびノンフォトリアリスティックな外観編集のための統一的なフレームワークであるLAENeRFを用いて解決する。
局所的な編集に取り組むために,voxelグリッドを領域選択の出発点として利用する。
予測された光線終端から最終的な出力色へのマッピングを学習し、任意にスタイルロスによって監督することができるため、選択された領域のフォトリアリスティックかつ非フォトリアリスティックな外観編集を行うことができるフレームワークを構築する。
マッピングに1光線あたり1点に頼ることで、メモリ要件を制限し、高速な最適化を可能にします。
対話性を保証するため, 付加層混合を用いた学習・変更可能な基本色を用いて, 出力色を構成する。
LAENeRFは並列処理と比較して、処理時間を低く保ちながら、再色とスタイリングを可能にする。
さらに,本手法が定量的かつ定性的にベースライン法を超えることを示す。
関連論文リスト
- SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural
Radiance Fields [7.678022563694719]
SealD-NeRFは、動的な設定でピクセルレベルの編集を行うためのSeal-3Dの拡張である。
編集アクションを特定の時間枠にマッピングすることで、シーケンス間で一貫した編集を可能にする。
論文 参考訳(メタデータ) (2024-02-21T03:45:18Z) - ZONE: Zero-Shot Instruction-Guided Local Editing [58.24560503522924]
ゼロショットインストラクションを用いた局所画像編集手法ZONEを提案する。
InstructPix2Pixを通してユーザが提供する命令から特定の画像編集領域に変換する。
次に,オフザシェルフセグメントモデルから正確な画像層抽出を行う領域IoU方式を提案する。
論文 参考訳(メタデータ) (2023-12-28T02:54:34Z) - SeamlessNeRF: Stitching Part NeRFs with Gradient Propagation [21.284044381058575]
複数のNeRFをシームレスに混合する新しいアプローチであるSeamlessNeRFを提案する。
具体的には,ターゲット放射界の外観を最適化し,音源場との調和を図ることを目的としている。
本手法は, 境界領域から目標領域全体へのソースの出現を勾配を通じて効果的に伝播させることができる。
論文 参考訳(メタデータ) (2023-10-30T15:52:35Z) - ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context [29.30952578277242]
メモリフットプリントを低く保ちながら、高速で効率的な、非常にシンプルで効果的なニューラルネットワークアーキテクチャを提案する。
我々の表現は、訓練段階における意味的特徴蒸留による簡単なオブジェクト選択を可能にする。
局所的な3D対応画像コンテキストを提案し、ビュー一貫性のある画像編集を容易にし、微調整されたNeRFに抽出する。
論文 参考訳(メタデータ) (2023-10-15T21:54:45Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color
Editing of 3D Scenes [21.284044381058575]
本稿では,ニューラルラジアンスフィールドのための新しいユーザフレンドリーなカラー編集手法であるRecolorNeRFを提案する。
私たちのキーとなるアイデアは、シーンを純粋な色の層に分解し、パレットを形成することです。
効率的なパレットベースの編集をサポートするには、各レイヤの色を可能な限り表現する必要がある。
論文 参考訳(メタデータ) (2023-01-19T09:18:06Z) - Removing Objects From Neural Radiance Fields [60.067117643543824]
RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。
当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。
提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
論文 参考訳(メタデータ) (2022-12-22T18:51:06Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳(メタデータ) (2022-12-21T00:20:01Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳(メタデータ) (2020-10-15T03:24:14Z) - Neural Sparse Voxel Fields [151.20366604586403]
高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。
NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。
提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
論文 参考訳(メタデータ) (2020-07-22T17:51:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。