論文の概要: LightSim: Neural Lighting Simulation for Urban Scenes

• arxiv url: http://arxiv.org/abs/2312.06654v1
• Date: Mon, 11 Dec 2023 18:59:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 14:08:42.363413
• Title: LightSim: Neural Lighting Simulation for Urban Scenes
• Title（参考訳）: LightSim: 都市景観のニューラルライティングシミュレーション
• Authors: Ava Pun, Gary Sun, Jingkang Wang, Yun Chen, Ze Yang, Sivabalan Manivasagam, Wei-Chiu Ma, Raquel Urtasun
• Abstract要約: 異なる屋外照明条件は都市景観の外観を大きく変え、画像に基づくロボット認識システムの性能を損なう可能性がある。 カメラシミュレーションは、異なる照明条件下で撮影された画像の大規模なデータセットを作成するためのコスト効率の良いソリューションを提供する。 我々は,多種多様で現実的で制御可能なデータ生成を可能にする,ニューラルライティングカメラシミュレーションシステムであるLightSimを提案する。
• 参考スコア（独自算出の注目度）: 42.84064522536041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Different outdoor illumination conditions drastically alter the appearance of urban scenes, and they can harm the performance of image-based robot perception systems if not seen during training. Camera simulation provides a cost-effective solution to create a large dataset of images captured under different lighting conditions. Towards this goal, we propose LightSim, a neural lighting camera simulation system that enables diverse, realistic, and controllable data generation. LightSim automatically builds lighting-aware digital twins at scale from collected raw sensor data and decomposes the scene into dynamic actors and static background with accurate geometry, appearance, and estimated scene lighting. These digital twins enable actor insertion, modification, removal, and rendering from a new viewpoint, all in a lighting-aware manner. LightSim then combines physically-based and learnable deferred rendering to perform realistic relighting of modified scenes, such as altering the sun location and modifying the shadows or changing the sun brightness, producing spatially- and temporally-consistent camera videos. Our experiments show that LightSim generates more realistic relighting results than prior work. Importantly, training perception models on data generated by LightSim can significantly improve their performance.
• Abstract（参考訳）: 屋外照明条件の相違は都市景観の外観を大きく変え、訓練中に見られなければ画像に基づくロボット認識システムの性能を損なう可能性がある。 カメラシミュレーションは、異なる照明条件下で撮影された画像の大きなデータセットを作成するためのコスト効率の良いソリューションを提供する。 この目標に向けて,多様な,現実的で制御可能なデータ生成を可能にする,ニューラルライティングカメラシミュレーションシステムであるLightSimを提案する。 LightSimは、収集された生のセンサーデータから自動的に照明を意識したデジタルツインを構築し、シーンを正確な幾何学、外観、推定されたシーンライティングで動的アクターと静的な背景に分解する。 これらのデジタル双生児は、新たな視点から俳優の挿入、修正、削除、レンダリングを可能にする。 次にlightsimは、物理的ベースと学習可能な遅延レンダリングを組み合わせて、太陽の位置を変更したり、影を変えたり、太陽の明るさを変えたり、空間的かつ時間的に一貫性のあるカメラビデオを作成したりといった、修正されたシーンの現実的なリライトを行う。 我々の実験は、LightSimが以前の作業よりもリアルなリライティング結果を生成することを示している。 重要なのは、LightSimが生成したデータに対する知覚モデルのトレーニングによって、パフォーマンスが大幅に向上することです。

関連論文リスト

• DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploration in the Dark [14.47850251126128]
  照明条件が悪く、かつ移動光源で光リアルなシーン表現を構築するという課題に挑戦する。 我々は,Neural Light Simulator (NeLiS) を用いて,カメラライトシステムのモデル化とキャリブレーションを行う革新的なフレームワークを提案する。 本研究では,様々な実環境におけるシミュレータとシステムの適用性およびロバスト性を示す。
  論文  参考訳（メタデータ） (2024-03-16T05:21:42Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Reconstructing Objects in-the-wild for Realistic Sensor Simulation [41.55571880832957]
  我々は,スパース・イン・ザ・ワイルドデータから正確な幾何学的および現実的な外観を推定する新しい手法であるNeuSimを提案する。 物体の外観を物理にインスパイアされた頑健な反射率表現でモデル化し,実測データに有効である。 実験の結果,NeuSimはスパース・トレーニング・ビューを持つ難解なシナリオに対して,強力なビュー合成性能を有することがわかった。
  論文  参考訳（メタデータ） (2023-11-09T18:58:22Z)
• Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
  TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。 1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。 本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-09-08T10:26:29Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
  GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。 まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。 得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
  論文  参考訳（メタデータ） (2021-01-16T23:00:33Z)
• VIDIT: Virtual Image Dataset for Illumination Transfer [18.001635516017902]
  VIDIT(Virtual Image dataset for Illumination Transfer)を提案する。 VIDITには、トレーニングに使用される300の仮想シーンが含まれており、各シーンは合計で40回撮影されている。
  論文  参考訳（メタデータ） (2020-05-11T21:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。