論文の概要: Object-Centric Neural Scene Rendering
- arxiv url: http://arxiv.org/abs/2012.08503v1
- Date: Tue, 15 Dec 2020 18:55:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 05:10:35.093571
- Title: Object-Centric Neural Scene Rendering
- Title（参考訳）: 物体中心型ニューラルシーンレンダリング
- Authors: Michelle Guo, Alireza Fathi, Jiajun Wu, Thomas Funkhouser
- Abstract要約: 本稿では,物体の撮影画像から写実的シーンを構成する手法を提案する。
私たちの研究は、暗黙的にシーンの体積密度と方向発光放射をモデル化するニューラル・ラジアンス・フィールド(NeRF)に基づいています。
我々は、オブジェクトごとの光輸送を暗黙的に、照明とビューに依存したニューラルネットワークを使ってモデル化する、オブジェクト指向神経散乱関数(OSFs)を学習する。
- 参考スコア（独自算出の注目度）: 19.687759175741824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method for composing photorealistic scenes from captured images
of objects. Our work builds upon neural radiance fields (NeRFs), which
implicitly model the volumetric density and directionally-emitted radiance of a
scene. While NeRFs synthesize realistic pictures, they only model static scenes
and are closely tied to specific imaging conditions. This property makes NeRFs
hard to generalize to new scenarios, including new lighting or new arrangements
of objects. Instead of learning a scene radiance field as a NeRF does, we
propose to learn object-centric neural scattering functions (OSFs), a
representation that models per-object light transport implicitly using a
lighting- and view-dependent neural network. This enables rendering scenes even
when objects or lights move, without retraining. Combined with a volumetric
path tracing procedure, our framework is capable of rendering both intra- and
inter-object light transport effects including occlusions, specularities,
shadows, and indirect illumination. We evaluate our approach on scene
composition and show that it generalizes to novel illumination conditions,
producing photorealistic, physically accurate renderings of multi-object
scenes.
- Abstract（参考訳）: 本稿では,物体の撮影画像から写実的シーンを構成する手法を提案する。
我々の研究は、シーンの体積密度と方向の放射を暗黙的にモデル化するニューラル放射場(NeRF)の上に構築されている。
NeRFはリアルな画像を合成するが、静的なシーンのみをモデル化し、特定の撮像条件と密接に結びついている。
この特性により、新しい照明や新しいオブジェクトの配置など、NeRFを新しいシナリオに一般化するのが困難になる。
我々は、NeRFのようにシーンラディアンス場を学習する代わりに、照明とビューに依存したニューラルネットワークを用いて、オブジェクトごとの光輸送を暗黙的にモデル化するオブジェクト中心型ニューラル散乱関数(OSF)を学習することを提案する。
これにより、オブジェクトやライトが再トレーニングすることなく、シーンをレンダリングできる。
本手法は,ボリュームパス追跡手法と組み合わせて,オクルージョン,特異性,影,間接照明などの物体内および物体間光伝達効果をレンダリングする。
本研究では,シーン構成に対するアプローチを評価し,新しい照明条件に一般化し,多目的シーンのフォトリアリスティックで物理的に正確なレンダリングを実現することを示す。
関連論文リスト
- Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。
本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。
本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
論文 参考訳（メタデータ） (2024-08-19T05:15:45Z) - Relighting Scenes with Object Insertions in Neural Radiance Fields [24.18050535794117]
本研究では,物体のNeRFをシーンのNeRFに挿入するための新しいNeRFパイプラインを提案する。
提案手法は,広範囲な実験評価において,現実的な照明効果を実現する。
論文 参考訳（メタデータ） (2024-06-21T00:58:58Z) - LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis [65.20672798704128]
運転シーンの合成のための照明対応ニューラルネットワーク(LANe)を提案する。
我々は,静的背景要素と過渡要素をワールドニューラルおよびクラス固有のオブジェクトニューラルに切り離すシーン表現を学習する。
CARLAシミュレータでレンダリングした様々な照明条件の合成データセット上で,本モデルの性能を示す。
論文 参考訳（メタデータ） (2023-04-06T17:59:25Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and
View Synthesis [28.356700318603565]
シーン間の光輸送を明示的にモデル化し、従来の統合スキームとレンダリング方程式に頼ってシーンを再構成します。
従来のレンダリング法で確立された表面表現による分解輸送を学習することにより、自然に形状、反射性、照明、シーン構成の編集が容易になる。
提案手法は,NERVデータセットのサブセットの合成およびキャプチャビューから得られたシーン編集,リライティング,リフレクタンス推定に有効である。
論文 参考訳（メタデータ） (2021-04-28T03:47:48Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳（メタデータ） (2020-11-27T19:06:50Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。