論文の概要: LAENeRF: Local Appearance Editing for Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2312.09913v2
- Date: Mon, 25 Mar 2024 14:09:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 22:13:20.118536
- Title: LAENeRF: Local Appearance Editing for Neural Radiance Fields
- Title（参考訳）: LAENeRF:ニューラルラジアンスフィールドのための局所的な外観編集
- Authors: Lukas Radl, Michael Steiner, Andreas Kurz, Markus Steinberger,
- Abstract要約: LAENeRFは、NeRFのフォトリアリスティックおよびノンフォトリアリスティックな外観編集のためのフレームワークである。
我々は、予想される線量から最終的な出力色へのマッピングを学習し、スタイルロスによって教師できる。
マッピングのために1光線当たりの1点を頼りにすることで、メモリ要件を制限し、高速な最適化を可能にします。
- 参考スコア（独自算出の注目度）: 4.681790910494339
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Due to the omnipresence of Neural Radiance Fields (NeRFs), the interest towards editable implicit 3D representations has surged over the last years. However, editing implicit or hybrid representations as used for NeRFs is difficult due to the entanglement of appearance and geometry encoded in the model parameters. Despite these challenges, recent research has shown first promising steps towards photorealistic and non-photorealistic appearance edits. The main open issues of related work include limited interactivity, a lack of support for local edits and large memory requirements, rendering them less useful in practice. We address these limitations with LAENeRF, a unified framework for photorealistic and non-photorealistic appearance editing of NeRFs. To tackle local editing, we leverage a voxel grid as starting point for region selection. We learn a mapping from expected ray terminations to final output color, which can optionally be supervised by a style loss, resulting in a framework which can perform photorealistic and non-photorealistic appearance editing of selected regions. Relying on a single point per ray for our mapping, we limit memory requirements and enable fast optimization. To guarantee interactivity, we compose the output color using a set of learned, modifiable base colors, composed with additive layer mixing. Compared to concurrent work, LAENeRF enables recoloring and stylization while keeping processing time low. Furthermore, we demonstrate that our approach surpasses baseline methods both quantitatively and qualitatively.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)の完全解釈のため、編集可能な暗黙的な3D表現への関心はここ数年で急増している。
しかし, モデルパラメータにエンコードされた外観や形状の絡み合いのため, 暗黙的表現やハイブリッド表現の編集は困難である。
これらの課題にもかかわらず、最近の研究では、フォトリアリスティックおよびノンフォトリアリスティックな外観編集への第一歩が示されている。
関連する作業の主なオープンな課題には、限定的な対話性、ローカル編集のサポートの欠如、大規模なメモリ要件などが含まれており、実際にはあまり役に立たない。
我々はこれらの制限を、NeRFのフォトリアリスティックおよびノンフォトリアリスティックな外観編集のための統一的なフレームワークであるLAENeRFを用いて解決する。
局所的な編集に対処するため,我々は領域選択の出発点としてボクセルグリッドを利用する。
我々は、予想される光線終端から最終的な出力色へのマッピングを学習し、スタイル損失によって任意に教師できるので、選択された領域のフォトリアリスティックかつ非フォトリアリスティックな外観編集を行うことができるフレームワークを実現する。
マッピングのために1光線当たりの1点を頼りにすることで、メモリ要件を制限し、高速な最適化を可能にします。
対話性を保証するため, 付加層混合で構成した学習, 変更可能なベースカラーの集合を用いて, 出力色を構成する。
LAENeRFは並列処理と比較して、処理時間を低く保ちながら、再色とスタイリングを可能にする。
さらに,本手法が定量的かつ定性的にベースライン法を超越していることが実証された。
関連論文リスト
- IReNe: Instant Recoloring of Neural Radiance Fields [54.94866137102324]
我々は、NeRFにおける高速、ほぼリアルタイムな色編集を可能にするIReNeを紹介する。
トレーニング済みのNeRFモデルとユーザ対応カラー編集によるトレーニングイメージを併用する。
この調整により、モデルはトレーニング画像からの色変化を正確に表現して、新しいシーンビューを生成することができる。
論文 参考訳（メタデータ） (2024-05-30T09:30:28Z) - NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。
我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。
以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
論文 参考訳（メタデータ） (2024-04-30T02:04:49Z) - Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。
本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。
我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
論文 参考訳（メタデータ） (2024-04-15T17:59:57Z) - SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural
Radiance Fields [7.678022563694719]
SealD-NeRFは、動的な設定でピクセルレベルの編集を行うためのSeal-3Dの拡張である。
編集アクションを特定の時間枠にマッピングすることで、シーケンス間で一貫した編集を可能にする。
論文 参考訳（メタデータ） (2024-02-21T03:45:18Z) - ZONE: Zero-Shot Instruction-Guided Local Editing [56.56213730578504]
ゼロショットインストラクションを用いた局所画像編集手法ZONEを提案する。
InstructPix2Pixを通してユーザが提供する命令から特定の画像編集領域に変換する。
次に,オフザシェルフセグメントモデルから正確な画像層抽出を行う領域IoU方式を提案する。
論文 参考訳（メタデータ） (2023-12-28T02:54:34Z) - SeamlessNeRF: Stitching Part NeRFs with Gradient Propagation [21.284044381058575]
複数のNeRFをシームレスに混合する新しいアプローチであるSeamlessNeRFを提案する。
具体的には,ターゲット放射界の外観を最適化し,音源場との調和を図ることを目的としている。
本手法は, 境界領域から目標領域全体へのソースの出現を勾配を通じて効果的に伝播させることができる。
論文 参考訳（メタデータ） (2023-10-30T15:52:35Z) - ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context [26.07841568311428]
メモリフットプリントを低く保ちながら、高速で効率的な、非常にシンプルで効果的なニューラルネットワークアーキテクチャを提案する。
我々の表現は、訓練段階における意味的特徴蒸留による簡単なオブジェクト選択を可能にする。
局所的な3D対応画像コンテキストを提案し、ビュー一貫性のある画像編集を容易にし、微調整されたNeRFに抽出する。
論文 参考訳（メタデータ） (2023-10-15T21:54:45Z) - RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color
Editing of 3D Scenes [21.284044381058575]
本稿では,ニューラルラジアンスフィールドのための新しいユーザフレンドリーなカラー編集手法であるRecolorNeRFを提案する。
私たちのキーとなるアイデアは、シーンを純粋な色の層に分解し、パレットを形成することです。
効率的なパレットベースの編集をサポートするには、各レイヤの色を可能な限り表現する必要がある。
論文 参考訳（メタデータ） (2023-01-19T09:18:06Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳（メタデータ） (2022-12-21T00:20:01Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳（メタデータ） (2020-10-15T03:24:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。