論文の概要: NPSim: Nighttime Photorealistic Simulation From Daytime Images With Monocular Inverse Rendering and Ray Tracing

• arxiv url: http://arxiv.org/abs/2502.10720v1
• Date: Sat, 15 Feb 2025 08:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:17.097575
• Title: NPSim: Nighttime Photorealistic Simulation From Daytime Images With Monocular Inverse Rendering and Ray Tracing
• Title（参考訳）: NPSim:単眼の逆レンダリングとレイトレーシングによる夜間光実写シミュレーション
• Authors: Shutong Zhang,
• Abstract要約: 強力な自律運転システムは、夜間を含むすべての条件下で画像を処理できなければならない。 実写夜間画像のシミュレーションを可能にするNPSimという新しい手法を提案する。 NPSimはメッシュ再構築とリライトという2つの重要なコンポーネントで構成されている。
• 参考スコア（独自算出の注目度）: 0.5439020425819
• License:
• Abstract: Semantic segmentation is an important task for autonomous driving. A powerful autonomous driving system should be capable of handling images under all conditions, including nighttime. Generating accurate and diverse nighttime semantic segmentation datasets is crucial for enhancing the performance of computer vision algorithms in low-light conditions. In this thesis, we introduce a novel approach named NPSim, which enables the simulation of realistic nighttime images from real daytime counterparts with monocular inverse rendering and ray tracing. NPSim comprises two key components: mesh reconstruction and relighting. The mesh reconstruction component generates an accurate representation of the scene structure by combining geometric information extracted from the input RGB image and semantic information from its corresponding semantic labels. The relighting component integrates real-world nighttime light sources and material characteristics to simulate the complex interplay of light and object surfaces under low-light conditions. The scope of this thesis mainly focuses on the implementation and evaluation of the mesh reconstruction component. Through experiments, we demonstrate the effectiveness of the mesh reconstruction component in producing high-quality scene meshes and their generality across different autonomous driving datasets. We also propose a detailed experiment plan for evaluating the entire pipeline, including both quantitative metrics in training state-of-the-art supervised and unsupervised semantic segmentation approaches and human perceptual studies, aiming to indicate the capability of our approach to generate realistic nighttime images and the value of our dataset in steering future progress in the field.
• Abstract（参考訳）: セマンティックセグメンテーションは自動運転にとって重要な課題である。 強力な自律運転システムは、夜間を含むすべての条件下で画像を処理できなければならない。 低照度環境でのコンピュータビジョンアルゴリズムの性能向上には,高精度で多様な夜間セマンティックセマンティックセマンティクスデータセットの生成が不可欠である。 そこで本論文では,モノクロ逆レンダリングとレイトレーシングを併用したリアルタイムな夜間画像のシミュレーションを可能にする,NPSimという新しい手法を提案する。 NPSimはメッシュ再構築とリライトという2つの重要なコンポーネントで構成されている。 メッシュ再構成コンポーネントは、入力されたRGB画像から抽出された幾何情報と、対応する意味ラベルから抽出された意味情報とを組み合わせて、シーン構造の正確な表現を生成する。 ライティングコンポーネントは、現実世界の夜間光源と材料特性を統合し、低照度条件下での光と物体表面の複雑な相互作用をシミュレートする。 本論文の範囲は主にメッシュ再構成コンポーネントの実装と評価に焦点を当てている。 実験を通じて、高品質なシーンメッシュの生成におけるメッシュ再構成コンポーネントの有効性と、異なる自律運転データセットにおけるそれらの一般化を実証する。 また,このパイプライン全体を評価するための詳細な実験計画を提案し,現状の教師付き,教師なしのセマンティックセグメンテーションアプローチと人間のパーセプティブスタディの両方について,実写の夜間画像の生成能力と,現場における今後の進歩を操縦するデータセットの価値を示すことを目的とした。

関連論文リスト

• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• SplitNeRF: Split Sum Approximation Neural Field for Joint Geometry, Illumination, and Material Estimation [65.99344783327054]
  本稿では, 実世界の物体の形状, 材料特性, 照明特性を推定してデジタル化する手法を提案する。 提案手法は,実時間物理ベースのレンダリングに画像ベースの照明で使用される分割和近似を,レーダランスニューラルネットワーク(NeRF)パイプラインに組み込む。 提案手法は,NVIDIA A100 GPUを1つのGPUで1時間に1ドル程度のトレーニングをした後で,最先端のリライト品質を実現することができる。
  論文  参考訳（メタデータ） (2023-11-28T10:36:36Z)
• Reconstructing Objects in-the-wild for Realistic Sensor Simulation [41.55571880832957]
  我々は,スパース・イン・ザ・ワイルドデータから正確な幾何学的および現実的な外観を推定する新しい手法であるNeuSimを提案する。 物体の外観を物理にインスパイアされた頑健な反射率表現でモデル化し,実測データに有効である。 実験の結果,NeuSimはスパース・トレーニング・ビューを持つ難解なシナリオに対して,強力なビュー合成性能を有することがわかった。
  論文  参考訳（メタデータ） (2023-11-09T18:58:22Z)
• Learning to Simulate Realistic LiDARs [66.7519667383175]
  リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。 本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。 我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
  論文  参考訳（メタデータ） (2022-09-22T13:12:54Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。