論文の概要: ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering

• arxiv url: http://arxiv.org/abs/2305.02103v1
• Date: Wed, 3 May 2023 13:24:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 14:44:08.476723
• Title: ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering
• Title（参考訳）: ScatterNeRF: 物理ベース逆ニューラルレンダリングによるファグを通しての観察
• Authors: Andrea Ramazzina, Mario Bijelic, Stefanie Walz, Alessandro Sanvito, Dominik Scheuble and Felix Heide
• Abstract要約: 本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 83.75284107397003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision in adverse weather conditions, whether it be snow, rain, or fog is challenging. In these scenarios, scattering and attenuation severly degrades image quality. Handling such inclement weather conditions, however, is essential to operate autonomous vehicles, drones and robotic applications where human performance is impeded the most. A large body of work explores removing weather-induced image degradations with dehazing methods. Most methods rely on single images as input and struggle to generalize from synthetic fully-supervised training approaches or to generate high fidelity results from unpaired real-world datasets. With data as bottleneck and most of today's training data relying on good weather conditions with inclement weather as outlier, we rely on an inverse rendering approach to reconstruct the scene content. We introduce ScatterNeRF, a neural rendering method which adequately renders foggy scenes and decomposes the fog-free background from the participating media-exploiting the multiple views from a short automotive sequence without the need for a large training data corpus. Instead, the rendering approach is optimized on the multi-view scene itself, which can be typically captured by an autonomous vehicle, robot or drone during operation. Specifically, we propose a disentangled representation for the scattering volume and the scene objects, and learn the scene reconstruction with physics-inspired losses. We validate our method by capturing multi-view In-the-Wild data and controlled captures in a large-scale fog chamber.
• Abstract（参考訳）: 雪、雨、霧のいずれであっても、悪天候下での視界は困難である。 これらのシナリオでは、散乱と減衰は画質を著しく低下させる。 しかし、このような不適切な気象条件の処理は、人間のパフォーマンスが最も損なわれる自動運転車、ドローン、ロボットアプリケーションを操作するのに不可欠である。 大規模な作業は、デハザーズ方式で気象による画像劣化の除去を探求する。 ほとんどの手法は入力として単一画像に依存しており、完全な教師付きトレーニングアプローチから一般化したり、実世界のデータセットから高忠実度結果を生成するのに苦労している。 データはボトルネックとなり、今日のトレーニングデータのほとんどは不適切な気象条件に依存するため、シーンコンテンツを再構築するための逆レンダリングアプローチに依存しています。 ScatterNeRFは、霧のシーンを適切にレンダリングし、メディアから霧のない背景を分解するニューラルネットワークで、大規模なトレーニングデータコーパスを必要とせずに、短い自動車シーケンスから複数のビューを抽出する。 その代わり、レンダリングアプローチはマルチビューシーン自体に最適化されており、通常、運用中の自律車両、ロボット、ドローンによってキャプチャされる。 具体的には,散乱体積とシーンオブジェクトの絡み合った表現を提案し,物理に触発された損失によるシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証する。

関連論文リスト

• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes [49.92839157944134]
  夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。 雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。 雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
  論文  参考訳（メタデータ） (2024-02-28T09:02:33Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• ViewNeRF: Unsupervised Viewpoint Estimation Using Category-Level Neural Radiance Fields [35.89557494372891]
  ニューラルラジアンス場に基づく視点推定法であるViewNeRFを導入する。 提案手法は,条件付きNeRFと視点予測器とシーンエンコーダを組み合わせた合成手法を用いて解析を行う。 本モデルでは,合成データセットと実データセットの競合結果を示す。
  論文  参考訳（メタデータ） (2022-12-01T11:16:11Z)
• DiffDreamer: Towards Consistent Unsupervised Single-view Scene Extrapolation with Conditional Diffusion Models [91.94566873400277]
  DiffDreamerは、長いカメラ軌跡を描いた新しいビューを合成できる教師なしのフレームワークである。 画像条件付き拡散モデルでは, 従来のGAN法よりも一貫性を保ちながら, 長距離シーン外挿を効果的に行うことができることを示す。
  論文  参考訳（メタデータ） (2022-11-22T10:06:29Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• ZeroScatter: Domain Transfer for Long Distance Imaging and Vision through Scattering Media [26.401067775059154]
  我々は、悪天候下で撮影されたRGBのみのキャプチャーを、晴れた昼間のシーンに変換するドメイン転送手法ZeroScatterを提案する。 提案手法は実世界キャプチャーを用いて評価し,提案手法は制御霧室測定において既存の単分子脱散乱法を2.8dBPSNRで上回る性能を示した。
  論文  参考訳（メタデータ） (2021-02-11T04:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。