論文の概要: Semi-Supervised Video Deraining with Dynamic Rain Generator

• arxiv url: http://arxiv.org/abs/2103.07939v1
• Date: Sun, 14 Mar 2021 14:28:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 14:09:48.647662
• Title: Semi-Supervised Video Deraining with Dynamic Rain Generator
• Title（参考訳）: 動的雨発生器による半監督映像の劣化
• Authors: Zongsheng Yue, Jianwen Xie, Qian Zhao, Deyu Meng
• Abstract要約: 本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。 具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。 ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
• 参考スコア（独自算出の注目度）: 59.71640025072209
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While deep learning (DL)-based video deraining methods have achieved significant success recently, they still exist two major drawbacks. Firstly, most of them do not sufficiently model the characteristics of rain layers of rainy videos. In fact, the rain layers exhibit strong physical properties (e.g., direction, scale and thickness) in spatial dimension and natural continuities in temporal dimension, and thus can be generally modelled by the spatial-temporal process in statistics. Secondly, current DL-based methods seriously depend on the labeled synthetic training data, whose rain types are always deviated from those in unlabeled real data. Such gap between synthetic and real data sets leads to poor performance when applying them in real scenarios. Against these issues, this paper proposes a new semi-supervised video deraining method, in which a dynamic rain generator is employed to fit the rain layer, expecting to better depict its insightful characteristics. Specifically, such dynamic generator consists of one emission model and one transition model to simultaneously encode the spatially physical structure and temporally continuous changes of rain streaks, respectively, which both are parameterized as deep neural networks (DNNs). Further more, different prior formats are designed for the labeled synthetic and unlabeled real data, so as to fully exploit the common knowledge underlying them. Last but not least, we also design a Monte Carlo EM algorithm to solve this model. Extensive experiments are conducted to verify the superiorities of the proposed semi-supervised deraining model.
• Abstract（参考訳）: 近年,深層学習(DL)に基づくビデオデライニング手法は大きな成功を収めているが,大きな欠点は2つある。 第一に、雨の層の特徴を十分にモデル化していないものが多い。 実際、雨の層は空間次元の強い物理的性質(例えば、方向、スケールおよび厚さ)および時間次元の自然な連続性を示し、統計学の空間時間過程によって一般にモデル化することができる。 第二に、現在のdlベースの手法はラベル付き合成トレーニングデータに真剣に依存しており、雨種は常にラベルなしの実データと切り離されている。 このような合成データセットと実際のデータセットのギャップは、実際のシナリオに適用する際のパフォーマンスの低下につながります。 そこで本論文では,雨の層に適応する動的雨発生器を用いて,その洞察力のある特性をよりよく表現する,新しい半監視型ビデオ脱雨法を提案する。 具体的には、1つの放出モデルと1つの遷移モデルからなり、それぞれ深層ニューラルネットワーク(DNN)としてパラメータ化される雨のストリークの空間的物理的構造と時間的連続的な変化を同時に符号化する。 さらに、ラベル付き合成およびラベルなしの実データに対して、それらの基礎となる共通知識を十分に活用するために、異なる先行フォーマットが設計されている。 最後に、我々はまた、このモデルを解決するためにモンテカルロEMアルゴリズムを設計します。 提案した半教師付きデラライニングモデルの優位性を検証するため, 大規模実験を行った。

関連論文リスト

• RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining [14.025870185802463]
  我々は,シーケンスレベルのローカル情報をよりよくキャプチャするための,新しいヒルベルト機構を備えた改良されたSSMベースのビデオデライニングネットワーク(RainMamba)を提案する。 また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:22Z)
• TRG-Net: An Interpretable and Controllable Rain Generator [61.2760968459789]
  本研究は,降雨の基盤となる物理的発生機構を十分に考慮した,新しい深層学習型降雨発生器を提案する。 その意義は、発電機が予想される雨をシミュレートするために雨の本質的な要素を精巧に設計するだけでなく、複雑で多様な雨のイメージに微妙に適応することにある。 提案した雨発生器が発生した雨は, 高品質であるだけでなく, 排水作業や下流作業にも有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-15T03:27:39Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model [51.49854435403139]
  本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。 安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。 また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-23T13:34:01Z)
• An advanced spatio-temporal convolutional recurrent neural network for storm surge predictions [73.4962254843935]
  本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。 本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-18T23:42:18Z)
• TRU-NET: A Deep Learning Approach to High Resolution Prediction of Rainfall [21.399707529966474]
  本稿では,連続的畳み込み再帰層間の新しい2次元クロスアテンション機構を特徴とするエンコーダデコーダモデルであるTRU-NETを提案する。 降雨のゼロ・スクイド・%極端事象パターンを捉えるために,条件付き連続損失関数を用いた。 実験の結果,短期降水予測ではDLモデルよりもRMSEとMAEのスコアが低いことがわかった。
  論文  参考訳（メタデータ） (2020-08-20T17:27:59Z)
• From Rain Generation to Rain Removal [67.71728610434698]
  雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。 降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。 総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
  論文  参考訳（メタデータ） (2020-08-08T18:56:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。