論文の概要: Why current rain denoising models fail on CycleGAN created rain images
in autonomous driving
- arxiv url: http://arxiv.org/abs/2305.12983v1
- Date: Mon, 22 May 2023 12:42:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 16:15:16.106063
- Title: Why current rain denoising models fail on CycleGAN created rain images
in autonomous driving
- Title（参考訳）: CycleGANの現在の降雨モデルが自動走行で降雨画像を生成できない理由
- Authors: Michael Kranl, Hubert Ramsauer and Bernhard Knapp
- Abstract要約: GAN(Generative Adversarial Network)を用いた一組のクリアウェザー条件画像に雨を人工的に付加する
この人工的な雨画像の生成は、10件中7件で、人間の被験者は生成された雨画像が本物だと信じていた。
第2のステップでは、このペア付きグッド/バッド気象画像データを使用して、主にCNN(Convolutional Neural Network)とVision Transformer(Vision Transformer)をベースとした2つの降雨モデルをトレーニングする。
- 参考スコア（独自算出の注目度）: 1.4831974871130875
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: One of the main tasks of an autonomous agent in a vehicle is to correctly
perceive its environment. Much of the data that needs to be processed is
collected by optical sensors such as cameras. Unfortunately, the data collected
in this way can be affected by a variety of factors, including environmental
influences such as inclement weather conditions (e.g., rain). Such noisy data
can cause autonomous agents to take wrong decisions with potentially fatal
outcomes. This paper addresses the rain image challenge by two steps: First,
rain is artificially added to a set of clear-weather condition images using a
Generative Adversarial Network (GAN). This yields good/bad weather image pairs
for training de-raining models. This artificial generation of rain images is
sufficiently realistic as in 7 out of 10 cases, human test subjects believed
the generated rain images to be real. In a second step, this paired good/bad
weather image data is used to train two rain denoising models, one based
primarily on a Convolutional Neural Network (CNN) and the other using a Vision
Transformer. This rain de-noising step showed limited performance as the
quality gain was only about 15%. This lack of performance on realistic rain
images as used in our study is likely due to current rain de-noising models
being developed for simplistic rain overlay data. Our study shows that there is
ample space for improvement of de-raining models in autonomous driving.
- Abstract（参考訳）: 自動車における自律エージェントの主なタスクの1つは、その環境を正しく知覚することである。
処理が必要なデータの多くは、カメラなどの光学センサーによって収集される。
残念ながら、この方法で収集されたデータは、インクレーメント気象条件(雨など)などの環境影響など、様々な要因によって影響を受ける可能性がある。
このようなノイズの多いデータは、自律的なエージェントが致命的な結果で間違った判断を下す可能性がある。
本稿では,降雨画像の課題を2つのステップで解決する。第1に,降雨を,生成型逆ネットワーク(gan)を用いた一組のクリアウェザー条件画像に人工的に付加する。
これにより、高度/悪質な気象画像ペアがデレイニングモデルのトレーニングに役立ちます。
この人工降雨画像の生成は、10例中7例において、人工降雨画像が本物であると信じているため、十分に現実的である。
第2のステップでは、このペア付きグッド/バッド気象画像データを使用して、主にCNN(Convolutional Neural Network)とVision Transformer(Vision Transformer)の2つの降雨モデルをトレーニングする。
この雨除けステップは、品質向上率が約15%であったため、性能が低かった。
本研究で使用する現実的な雨画像に対する性能の欠如は,簡易な雨の重ね合わせデータのために現在開発中の降雨減音モデルが原因と考えられる。
本研究は,自動運転における脱車モデルの改善に十分なスペースがあることを示唆する。
関連論文リスト
- TRG-Net: An Interpretable and Controllable Rain Generator [61.2760968459789]
本研究は,降雨の基盤となる物理的発生機構を十分に考慮した,新しい深層学習型降雨発生器を提案する。
その意義は、発電機が予想される雨をシミュレートするために雨の本質的な要素を精巧に設計するだけでなく、複雑で多様な雨のイメージに微妙に適応することにある。
提案した雨発生器が発生した雨は, 高品質であるだけでなく, 排水作業や下流作業にも有効であることを示す。
論文 参考訳（メタデータ） (2024-03-15T03:27:39Z) - TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining
and Object Detection in Rain [23.050711662981655]
本稿では,現実的な降雨画像を生成するための画像間翻訳フレームワークを提案する。
まず, 三角確率類似性制約を導入し, 判別器多様体の鮮明で雨の多い画像に向けて生成した画像を誘導する。
実験では、最小限のアーチファクトと歪みで現実的な雨の発生を実証し、雨中の画像の劣化と物体の検出に有効である。
論文 参考訳（メタデータ） (2023-11-01T17:08:26Z) - Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model [51.49854435403139]
本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。
安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。
また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-01-23T13:34:01Z) - Not Just Streaks: Towards Ground Truth for Single Image Deraining [42.15398478201746]
実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。
本稿では,雨天と清潔な画像の間の雨害損失を最小限に抑え,基盤となるシーンを再構築するディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-06-22T00:10:06Z) - Deep Single Image Deraining using An Asymetric Cycle Generative and
Adversarial Framework [16.59494337699748]
単体画像デライニングのための新しいACGF(Asymetric Cycle Generative and Adrial framework)を提案する。
ACGFは合成雨像と実際の雨像の両方を訓練し、同時に雨の流れと霧の特徴を捉えている。
基準降雨量と降雨量のデータセットによる実験では、ACGFは最先端のデラライニング法よりも優れていた。
論文 参考訳（メタデータ） (2022-02-19T16:14:10Z) - M2GAN: A Multi-Stage Self-Attention Network for Image Rain Removal on
Autonomous Vehicles [8.642603456626391]
自動車のフロントガラスに雨滴がぶつかる問題に対処するため,マルチタスク・リカレント・ジェネレーティブ・逆向きネットワーク (M2GAN) を提案する。
M2GANは、自動運転車のような制約のない環境下での現実世界の雨の挑戦的な問題に対処する最初の方法と考えられている。
論文 参考訳（メタデータ） (2021-10-12T16:58:33Z) - UnfairGAN: An Enhanced Generative Adversarial Network for Raindrop
Removal from A Single Image [8.642603456626391]
UnfairGANは、エッジや雨量推定といった事前の高レベル情報を活用することで、デライニング性能を向上させることができる、改良された生成的敵ネットワークである。
提案手法は, 定量的な計測値と視覚的品質に関する降雨量について, 従来の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-11T18:02:43Z) - RCDNet: An Interpretable Rain Convolutional Dictionary Network for
Single Image Deraining [49.99207211126791]
雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。
RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。
このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
論文 参考訳（メタデータ） (2021-07-14T16:08:11Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳（メタデータ） (2021-03-14T14:28:57Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳（メタデータ） (2020-08-08T18:56:51Z) - Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。
このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
論文 参考訳（メタデータ） (2020-05-19T05:52:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。