論文の概要: LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis

• arxiv url: http://arxiv.org/abs/2304.03280v1
• Date: Thu, 6 Apr 2023 17:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 12:56:01.859948
• Title: LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis
• Title（参考訳）: lane: 合成シーン合成のためのライティングアウェアニューラルフィールド
• Authors: Akshay Krishnan, Amit Raj, Xianling Zhang, Alexandra Carlson, Nathan Tseng, Sandhya Sridhar, Nikita Jaipuria, James Hays
• Abstract要約: 運転シーンの合成のための照明対応ニューラルネットワーク(LANe)を提案する。 我々は,静的背景要素と過渡要素をワールドニューラルおよびクラス固有のオブジェクトニューラルに切り離すシーン表現を学習する。 CARLAシミュレータでレンダリングした様々な照明条件の合成データセット上で,本モデルの性能を示す。
• 参考スコア（独自算出の注目度）: 65.20672798704128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural fields have recently enjoyed great success in representing and rendering 3D scenes. However, most state-of-the-art implicit representations model static or dynamic scenes as a whole, with minor variations. Existing work on learning disentangled world and object neural fields do not consider the problem of composing objects into different world neural fields in a lighting-aware manner. We present Lighting-Aware Neural Field (LANe) for the compositional synthesis of driving scenes in a physically consistent manner. Specifically, we learn a scene representation that disentangles the static background and transient elements into a world-NeRF and class-specific object-NeRFs to allow compositional synthesis of multiple objects in the scene. Furthermore, we explicitly designed both the world and object models to handle lighting variation, which allows us to compose objects into scenes with spatially varying lighting. This is achieved by constructing a light field of the scene and using it in conjunction with a learned shader to modulate the appearance of the object NeRFs. We demonstrate the performance of our model on a synthetic dataset of diverse lighting conditions rendered with the CARLA simulator, as well as a novel real-world dataset of cars collected at different times of the day. Our approach shows that it outperforms state-of-the-art compositional scene synthesis on the challenging dataset setup, via composing object-NeRFs learned from one scene into an entirely different scene whilst still respecting the lighting variations in the novel scene. For more results, please visit our project website https://lane-composition.github.io/.
• Abstract（参考訳）: ニューラルフィールドは3Dシーンの表現とレンダリングで大成功を収めた。 しかし、最先端の暗黙の表現のほとんどは、静的または動的シーン全体を、小さなバリエーションでモデル化している。 歪んだ世界と物体の神経場を学習する既存の研究は、物体を異なる世界への神経場に照明を意識して構成する問題を考慮していない。 本稿では,ライティング・アウェア・ニューラルフィールド(LANe)を用いて,物理的に一貫した運転シーンの合成を行う。 具体的には、静的な背景と過渡的な要素をワールド・NeRFとクラス固有のオブジェクト・NeRFに切り離し、シーン内の複数のオブジェクトの合成を可能にするシーン表現を学習する。 さらに,光の変動に対処する世界モデルとオブジェクトモデルの両方を明示的に設計し,空間的に異なる照明でオブジェクトをシーンに組み立てることを可能にする。 これは、シーンの光場を構築し、学習したシェーダーと組み合わせてオブジェクトNeRFの外観を変調することで実現される。 本研究では,carlaシミュレータを用いた多彩な照明条件の合成データセットと,その日の異なる時刻に収集された新しい実世界の車両データセットを用いて,モデルの性能を実証する。 提案手法は,新しい場面の照明変化を尊重しながら,あるシーンから学習したオブジェクトナーフをまったく異なるシーンに構成することで,挑戦的なデータセットの設定において,最先端のコンポジション合成に勝ることを示す。 詳細については、プロジェクトのwebサイトhttps://lane-composition.github.io/をご覧ください。

関連論文リスト

• Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes [68.14127205949073]
  オブジェクトプロキシを用いて3Dシーンを合成するための新しいGlobalLocalトレーニングフレームワークを提案する。 プロキシを使うことで、個々の独立オブジェクトの配置を調整するなど、さまざまな編集オプションが実現可能であることを示す。 その結果,Set-the-Sceneはシーンの合成と操作に強力なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-23T17:17:29Z)
• DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis [90.32352050266104]
  DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。 グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。 挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:59:59Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Unsupervised Discovery and Composition of Object Light Fields [57.198174741004095]
  オブジェクト中心の合成シーン表現において、オブジェクトを光場として表現することを提案する。 オブジェクト中心の光場から大域的な光場を再構成できる新しい光場合成モジュールを提案する。
  論文  参考訳（メタデータ） (2022-05-08T17:50:35Z)
• Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering [42.37007176376849]
  本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンをリアルにレンダリングするニューラルシーンレンダリングシステムを提案する。 密集したシーンでのトレーニングを生き残るために, 密集した領域における3次元空間のあいまいさを解消し, それぞれの物体の鋭い境界を学習するためのシーン誘導型トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-04T11:37:18Z)
• Object-Centric Neural Scene Rendering [19.687759175741824]
  本稿では,物体の撮影画像から写実的シーンを構成する手法を提案する。 私たちの研究は、暗黙的にシーンの体積密度と方向発光放射をモデル化するニューラル・ラジアンス・フィールド(NeRF)に基づいています。 我々は、オブジェクトごとの光輸送を暗黙的に、照明とビューに依存したニューラルネットワークを使ってモデル化する、オブジェクト指向神経散乱関数(OSFs)を学習する。
  論文  参考訳（メタデータ） (2020-12-15T18:55:02Z)
• GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields [45.21191307444531]
  深部生成モデルは、高解像度で光リアルな画像合成を可能にする。 しかし、多くのアプリケーションにとって、これは十分ではない。コンテンツ生成も制御可能である必要がある。 我々のキーとなる仮説は、構成的な3Dシーン表現を生成モデルに組み込むことにより、より制御可能な画像合成につながるというものである。
  論文  参考訳（メタデータ） (2020-11-24T14:14:15Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。