論文の概要: Rain rendering for evaluating and improving robustness to bad weather
- arxiv url: http://arxiv.org/abs/2009.03683v1
- Date: Sun, 6 Sep 2020 21:08:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 08:31:55.180879
- Title: Rain rendering for evaluating and improving robustness to bad weather
- Title(参考訳): 悪天候に対するロバスト性評価・改善のための降雨レンダリング
- Authors: Maxime Tremblay, Shirsendu Sukanta Halder, Raoul de Charette,
Jean-Fran\c{c}ois Lalonde
- Abstract要約: 本稿では,一般的なコンピュータビジョンアルゴリズムを体系的に評価し,降雨量の制御を可能にする降雨パイプラインを提案する。
物理に基づく降雨増強は、物理粒子シミュレータと正確な雨光度モデリングを組み合わせたものである。
雨量増大したKITTI,Cityscapes,nuScenesのデータセットを用いて,オブジェクト検出,セマンティックセグメンテーション,深さ推定アルゴリズムの徹底的な評価を行う。
- 参考スコア(独自算出の注目度): 20.43775471447035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rain fills the atmosphere with water particles, which breaks the common
assumption that light travels unaltered from the scene to the camera. While it
is well-known that rain affects computer vision algorithms, quantifying its
impact is difficult. In this context, we present a rain rendering pipeline that
enables the systematic evaluation of common computer vision algorithms to
controlled amounts of rain. We present three different ways to add synthetic
rain to existing images datasets: completely physic-based; completely
data-driven; and a combination of both. The physic-based rain augmentation
combines a physical particle simulator and accurate rain photometric modeling.
We validate our rendering methods with a user study, demonstrating our rain is
judged as much as 73% more realistic than the state-of-theart. Using our
generated rain-augmented KITTI, Cityscapes, and nuScenes datasets, we conduct a
thorough evaluation of object detection, semantic segmentation, and depth
estimation algorithms and show that their performance decreases in degraded
weather, on the order of 15% for object detection, 60% for semantic
segmentation, and 6-fold increase in depth estimation error. Finetuning on our
augmented synthetic data results in improvements of 21% on object detection,
37% on semantic segmentation, and 8% on depth estimation.
- Abstract(参考訳): 雨は大気を水粒子で満たし、光がシーンからカメラへと変化しないという一般的な仮定を破る。
雨がコンピュータビジョンアルゴリズムに影響を与えることはよく知られているが、その影響の定量化は難しい。
本稿では,一般的なコンピュータビジョンアルゴリズムを体系的に評価し,降雨量を制御できるレインレンダリングパイプラインを提案する。
我々は,既存の画像データセットに人工雨を加える3つの異なる方法を提案する。
物理粒子シミュレータと正確な降雨測光モデルを組み合わせた物理系雨補強法である。
ユーザスタディでレンダリング手法を検証し、雨が最先端技術よりも73%もリアルであると判断されたことを実証する。
降雨量の増加したKITTI,Cityscapes,nuScenesのデータセットを用いて,オブジェクト検出,セマンティックセグメンテーション,深度推定アルゴリズムの徹底的な評価を行い,オブジェクト検出の15%,セマンティックセグメンテーションの60%,深度推定誤差の6倍の順で,その性能が低下することを示す。
拡張された合成データの微調整により、オブジェクト検出で21%、セマンティックセグメンテーションで37%、深さ推定で8%の改善が得られました。
関連論文リスト
- RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering [50.14860376758962]
多視点降雨画像の集合からクリーンなシーンを再構築するための教師なしフレームワークであるRainyScapeを提案する。
ニューラルネットワークのスペクトルバイアス特性に基づいて、まずニューラルネットワークのレンダリングパイプラインを最適化し、低周波シーン表現を得る。
我々は2つのモジュールを協調的に最適化し,適応的指向性勾配に基づく再構成損失によって駆動する。
論文 参考訳(メタデータ) (2024-04-17T14:07:22Z) - Why current rain denoising models fail on CycleGAN created rain images
in autonomous driving [1.4831974871130875]
GAN(Generative Adversarial Network)を用いた一組のクリアウェザー条件画像に雨を人工的に付加する
この人工的な雨画像の生成は、10件中7件で、人間の被験者は生成された雨画像が本物だと信じていた。
第2のステップでは、このペア付きグッド/バッド気象画像データを使用して、主にCNN(Convolutional Neural Network)とVision Transformer(Vision Transformer)をベースとした2つの降雨モデルをトレーニングする。
論文 参考訳(メタデータ) (2023-05-22T12:42:32Z) - Not Just Streaks: Towards Ground Truth for Single Image Deraining [42.15398478201746]
実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。
本稿では,雨天と清潔な画像の間の雨害損失を最小限に抑え,基盤となるシーンを再構築するディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-06-22T00:10:06Z) - Semi-MoreGAN: A New Semi-supervised Generative Adversarial Network for
Mixture of Rain Removal [18.04268933542476]
降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水)
セミモレGANは、4つの重要なモジュールで構成されている: (I) 正確な深度推定を提供する新しい注意深度予測ネットワーク、 (ii) 詳細な画像コンテキスト特徴を生成するためによく設計された詳細残差ブロックで構成されたコンテキスト特徴予測ネットワーク、 (iii) ピラミッド深度誘導非局所ネットワークにより画像コンテキストを深度情報と有効に統合し、最終雨量のない画像を生成する、 (iv) モデルに制限を加えるための包括的な半教師付き損失関数。
論文 参考訳(メタデータ) (2022-04-28T11:35:26Z) - Towards Robust Rain Removal Against Adversarial Attacks: A Comprehensive
Benchmark Analysis and Beyond [85.06231315901505]
雨の除去は、画像やビデオから雨の流れを取り除き、雨による破壊的な影響を減らすことを目的としている。
本稿では, 深層学習に基づく雨害防止手法の強靭性に関する総合的な研究を初めて行おうとする。
論文 参考訳(メタデータ) (2022-03-31T10:22:24Z) - UnfairGAN: An Enhanced Generative Adversarial Network for Raindrop
Removal from A Single Image [8.642603456626391]
UnfairGANは、エッジや雨量推定といった事前の高レベル情報を活用することで、デライニング性能を向上させることができる、改良された生成的敵ネットワークである。
提案手法は, 定量的な計測値と視覚的品質に関する降雨量について, 従来の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-10-11T18:02:43Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - RCDNet: An Interpretable Rain Convolutional Dictionary Network for
Single Image Deraining [49.99207211126791]
雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。
RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。
このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
論文 参考訳(メタデータ) (2021-07-14T16:08:11Z) - Raindrops on Windshield: Dataset and Lightweight Gradient-Based
Detection Algorithm [0.0]
本稿では,視覚アルゴリズムの性能をトレーニングし,カメラレンズやフロントガラスのイメージアーティファクト検出の異なるタスクに対して評価するための新しいデータセットを提案する。
また,画像上に合成雨滴を生成可能なデータ拡張アルゴリズムを提案する。
提案アルゴリズムは降雨量検出の精度と画像処理速度を向上し,実際の自律システムの自己検査手法に適用できることを示した。
論文 参考訳(メタデータ) (2021-04-11T19:04:59Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳(メタデータ) (2020-08-08T18:56:51Z) - Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。
このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
論文 参考訳(メタデータ) (2020-05-19T05:52:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。