論文の概要: RehearsalNeRF: Decoupling Intrinsic Neural Fields of Dynamic Illuminations for Scene Editing
- arxiv url: http://arxiv.org/abs/2603.27948v1
- Date: Mon, 30 Mar 2026 01:49:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.187937
- Title: RehearsalNeRF: Decoupling Intrinsic Neural Fields of Dynamic Illuminations for Scene Editing
- Title(参考訳): リハーサルNeRF:シーン編集のための動的照明の内在的ニューラルネットワークのデカップリング
- Authors: Changyeon Won, Hyunjun Jung, Jungu Cho, Seonmi Park, Chi-Hoon Lee, Hae-Gon Jeon,
- Abstract要約: RehearsalNeRF(リハーサルNeRF)という,重度の照明条件下での非絡み合いの学習に有効な手法を提案する。
私たちのキーとなるアイデアは、リハーサルステージのような安定した照明の下で撮影されたシーンを活用することです。
我々のリハーサルNeRFは、市販のインタラクティブマスクを採用するだけで、動的物体の神経場を再構築することができる。
- 参考スコア(独自算出の注目度): 24.454967018695996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although there has been significant progress in neural radiance fields, an issue on dynamic illumination changes still remains unsolved. Different from relevant works that parameterize time-variant/-invariant components in scenes, subjects' radiance is highly entangled with their own emitted radiance and lighting colors in spatio-temporal domain. In this paper, we present a new effective method to learn disentangled neural fields under the severe illumination changes, named RehearsalNeRF. Our key idea is to leverage scenes captured under stable lighting like rehearsal stages, easily taken before dynamic illumination occurs, to enforce geometric consistency between the different lighting conditions. In particular, RehearsalNeRF employs a learnable vector for lighting effects which represents illumination colors in a temporal dimension and is used to disentangle projected light colors from scene radiance. Furthermore, our RehearsalNeRF is also able to reconstruct the neural fields of dynamic objects by simply adopting off-the-shelf interactive masks. To decouple the dynamic objects, we propose a new regularization leveraging optical flow, which provides coarse supervision for the color disentanglement. We demonstrate the effectiveness of RehearsalNeRF by showing robust performances on novel view synthesis and scene editing under dynamic illumination conditions. Our source code and video datasets will be publicly available.
- Abstract(参考訳): 神経放射能の分野では大きな進歩があったが、動的照度の変化に関する問題は未解決のままである。
場面における時間変化・不変成分をパラメータ化する関連作品と異なり、被験者の放射光は時空間領域における放射光や照明色と強く絡み合っている。
本稿では,リハーサルNeRF(RehearsalNeRF)という,重度照明条件下での絡み合ったニューラルネットワークの学習に有効な手法を提案する。
私たちのキーとなるアイデアは、リハーサルステージのような安定した照明の下で撮影されたシーンを利用して、動的照明が起こる前に簡単に撮影し、異なる照明条件間の幾何的一貫性を強制することです。
特に、RehearsalNeRFは、時間次元の照明色を表現するための学習可能なベクターを用いており、シーンの放射光から投影された光色を遠ざけるのに使われる。
さらに、我々のRehearsalNeRFは、市販のインタラクティブマスクを採用するだけで、動的物体の神経場を再構築することができる。
動的物体を分離するために,光学的流れを利用した新たな正則化を提案する。
動的照明条件下での映像合成とシーン編集においてロバストな性能を示すことでリハーサルNeRFの有効性を実証する。
ソースコードとビデオデータセットが公開されます。
関連論文リスト
- LightMover: Generative Light Movement with Color and Intensity Controls [49.259165408623915]
LightMoverは、単一のイメージで制御可能な光操作のためのフレームワークである。
ビデオ拡散先行は、シーンを再レンダリングすることなく、物理的に妥当な照明変化をもたらす。
論文 参考訳(メタデータ) (2026-03-28T09:51:59Z) - NieR: Normal-Based Lighting Scene Rendering [17.421326290704844]
NieR(Normal-based Lighting Scene Rendering)は、様々な材料表面における光反射のニュアンスを考慮した新しいフレームワークである。
本稿では,光の反射特性を捉えたLD(Light Decomposition)モジュールについて述べる。
また、スパースガウス表現の限界を克服するためにHNGD (Hierarchical Normal Gradient Densification) モジュールを提案する。
論文 参考訳(メタデータ) (2024-05-21T14:24:43Z) - Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
論文 参考訳(メタデータ) (2023-12-18T14:30:13Z) - Neural Relighting with Subsurface Scattering by Learning the Radiance
Transfer Gradient [73.52585139592398]
本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。
我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
論文 参考訳(メタデータ) (2023-06-15T17:56:04Z) - LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis [65.20672798704128]
運転シーンの合成のための照明対応ニューラルネットワーク(LANe)を提案する。
我々は,静的背景要素と過渡要素をワールドニューラルおよびクラス固有のオブジェクトニューラルに切り離すシーン表現を学習する。
CARLAシミュレータでレンダリングした様々な照明条件の合成データセット上で,本モデルの性能を示す。
論文 参考訳(メタデータ) (2023-04-06T17:59:25Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - BLiRF: Bandlimited Radiance Fields for Dynamic Scene Modeling [43.246536947828844]
本稿では,帯域制限された高次元信号の合成としてシーンを定式化し,時間と空間を分解するフレームワークを提案する。
我々は、照明、テクスチャ、長距離ダイナミクスの変化を含む複雑な動的シーンにまたがる魅力的な結果を実証する。
論文 参考訳(メタデータ) (2023-02-27T06:40:32Z) - Object-Centric Neural Scene Rendering [19.687759175741824]
本稿では,物体の撮影画像から写実的シーンを構成する手法を提案する。
私たちの研究は、暗黙的にシーンの体積密度と方向発光放射をモデル化するニューラル・ラジアンス・フィールド(NeRF)に基づいています。
我々は、オブジェクトごとの光輸送を暗黙的に、照明とビューに依存したニューラルネットワークを使ってモデル化する、オブジェクト指向神経散乱関数(OSFs)を学習する。
論文 参考訳(メタデータ) (2020-12-15T18:55:02Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳(メタデータ) (2020-11-27T19:06:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。