論文の概要: NightRain: Nighttime Video Deraining via Adaptive-Rain-Removal and Adaptive-Correction

• arxiv url: http://arxiv.org/abs/2401.00729v2
• Date: Wed, 10 Jan 2024 06:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 16:31:23.116423
• Title: NightRain: Nighttime Video Deraining via Adaptive-Rain-Removal and Adaptive-Correction
• Title（参考訳）: NightRain: Adaptive-Rain-DemovalとAdaptive-Correctionによる夜間ビデオのデライニング
• Authors: Beibei Lin, Yeying Jin, Wending Yan, Wei Ye, Yuan Yuan, Shunli Zhang, Robby Tan
• Abstract要約: 適応線除去法と適応線補正法を組み合わせた新しい夜間ビデオデライン法であるNightRainを紹介する。 本手法は,従来の夜間ビデオデラリニング手法を約13.7%上回る26.73dBのPSNRを実現する。
• 参考スコア（独自算出の注目度）: 18.89549992743636
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Existing deep-learning-based methods for nighttime video deraining rely on synthetic data due to the absence of real-world paired data. However, the intricacies of the real world, particularly with the presence of light effects and low-light regions affected by noise, create significant domain gaps, hampering synthetic-trained models in removing rain streaks properly and leading to over-saturation and color shifts. Motivated by this, we introduce NightRain, a novel nighttime video deraining method with adaptive-rain-removal and adaptive-correction. Our adaptive-rain-removal uses unlabeled rain videos to enable our model to derain real-world rain videos, particularly in regions affected by complex light effects. The idea is to allow our model to obtain rain-free regions based on the confidence scores. Once rain-free regions and the corresponding regions from our input are obtained, we can have region-based paired real data. These paired data are used to train our model using a teacher-student framework, allowing the model to iteratively learn from less challenging regions to more challenging regions. Our adaptive-correction aims to rectify errors in our model's predictions, such as over-saturation and color shifts. The idea is to learn from clear night input training videos based on the differences or distance between those input videos and their corresponding predictions. Our model learns from these differences, compelling our model to correct the errors. From extensive experiments, our method demonstrates state-of-the-art performance. It achieves a PSNR of 26.73dB, surpassing existing nighttime video deraining methods by a substantial margin of 13.7%.
• Abstract（参考訳）: 既存の深層学習に基づく夜間ビデオの流用方法は、実世界のペアデータがないため、合成データに依存している。 しかし、現実世界の複雑さ、特に騒音による光の影響や低照度領域の存在は、大きな領域ギャップを生じさせ、雨害を適切に除去する合成訓練モデルを妨げ、過飽和や色の変化をもたらす。 そこで我々はNightRainを紹介した。NightRainはアダプティブレイン除去法とアダプティブレイン補正法である。 当社のadaptive-rain-removalは、ラベルなしの雨動画を使用して、特に複雑な光の影響のある地域で、実世界の雨動画をレーディングできるようにしています。 このモデルでは,信頼度スコアに基づいて雨のない地域を得ることが目的である。 雨のない地域と入力から対応する地域が得られたら、地域ベースの対の実データが得られる。 これらのペアデータを使用して、教師と教師のフレームワークを使ってモデルのトレーニングを行い、モデルがより難しい領域からより困難な領域へと反復的に学習できるようにします。 適応補正は、過飽和や色の変化など、モデルの予測におけるエラーの修正を目的としています。 そのアイデアは、これらの入力ビデオとそれに対応する予測との差や距離に基づいて、明快な夜間入力訓練ビデオから学ぶことである。 私たちのモデルはこれらの違いから学び、モデルにエラーを修正するように促します。 広範な実験から,本手法は最先端の性能を示す。 PSNRは26.73dBで、既存の夜間ビデオデラミニング手法を13.7%上回っている。

関連論文リスト

• RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining [14.025870185802463]
  我々は,シーケンスレベルのローカル情報をよりよくキャプチャするための,新しいヒルベルト機構を備えた改良されたSSMベースのビデオデライニングネットワーク(RainMamba)を提案する。 また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:22Z)
• Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
  ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:21:30Z)
• NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes [49.92839157944134]
  夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。 雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。 雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
  論文  参考訳（メタデータ） (2024-02-28T09:02:33Z)
• Towards General and Fast Video Derain via Knowledge Distillation [10.614356931086267]
  我々は知識蒸留(RRGNet)による一般ビデオデラインネットワークを提案する。 ビデオの時間情報をフル活用するフレームグルーピング方式のエンコーダデコーダネットワークを設計する。 ネットワークのデライン機能を強化するために,現在のモデルのために古いタスクからのデータを再生するためのレインレビューモジュールを設計する。
  論文  参考訳（メタデータ） (2023-08-10T05:27:43Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model [51.49854435403139]
  本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。 安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。 また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-23T13:34:01Z)
• Not Just Streaks: Towards Ground Truth for Single Image Deraining [42.15398478201746]
  実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。 本稿では,雨天と清潔な画像の間の雨害損失を最小限に抑え,基盤となるシーンを再構築するディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-22T00:10:06Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
  本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。 具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。 ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
  論文  参考訳（メタデータ） (2021-03-14T14:28:57Z)
• Rain Streak Removal in a Video to Improve Visibility by TAWL Algorithm [12.056495277232118]
  本研究では, 熱帯雨林の時間的外観, 広角形状, 相対的な位置に着目した3つの新しい抽出特徴を組み合わせる手法を提案する。 TAWL法では,異なる解像度とフレームレートの特徴を適応的に利用し,雨をリアルタイムに除去する。 実雨と合成雨の両方の映像シーケンスを用いて実験を行い, 提案手法の性能を関連する最先端手法と比較した。
  論文  参考訳（メタデータ） (2020-07-10T05:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。