論文の概要: Removing Rain Streaks via Task Transfer Learning
- arxiv url: http://arxiv.org/abs/2208.13133v1
- Date: Sun, 28 Aug 2022 03:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 14:00:11.242753
- Title: Removing Rain Streaks via Task Transfer Learning
- Title(参考訳): タスク伝達学習による降雨ストリークの除去
- Authors: Yinglong Wang and Chao Ma and Jianzhuang Liu
- Abstract要約: まず,教師付きデラインモデルが実際の降雨事例に対してうまく一般化できない理由を統計的に検討する。
連結タスクでは、実データ用のラベルを容易に得ることができる。
我々の中核となる考え方は、タスク転送を通じて実データから表現を学習し、デライン化の一般化を改善することである。
- 参考スコア(独自算出の注目度): 39.511454098771026
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Due to the difficulty in collecting paired real-world training data, image
deraining is currently dominated by supervised learning with synthesized data
generated by e.g., Photoshop rendering. However, the generalization to real
rainy scenes is usually limited due to the gap between synthetic and real-world
data. In this paper, we first statistically explore why the supervised
deraining models cannot generalize well to real rainy cases, and find the
substantial difference of synthetic and real rainy data. Inspired by our
studies, we propose to remove rain by learning favorable deraining
representations from other connected tasks. In connected tasks, the label for
real data can be easily obtained. Hence, our core idea is to learn
representations from real data through task transfer to improve deraining
generalization. We thus term our learning strategy as \textit{task transfer
learning}. If there are more than one connected tasks, we propose to reduce
model size by knowledge distillation. The pretrained models for the connected
tasks are treated as teachers, all their knowledge is distilled to a student
network, so that we reduce the model size, meanwhile preserve effective prior
representations from all the connected tasks. At last, the student network is
fine-tuned with minority of paired synthetic rainy data to guide the pretrained
prior representations to remove rain. Extensive experiments demonstrate that
proposed task transfer learning strategy is surprisingly successful and
compares favorably with state-of-the-art supervised learning methods and
apparently surpass other semi-supervised deraining methods on synthetic data.
Particularly, it shows superior generalization over them to real-world scenes.
- Abstract(参考訳): ペアな実世界のトレーニングデータの収集が難しいため、現在、photoshopレンダリングなどの合成データを使った教師付き学習が主流となっている。
しかし、実際の雨景色への一般化は通常、合成データと現実世界データとのギャップのため制限される。
本稿では, 実際の降雨事例に対して, 教師付きデラライニングモデルが一般化できない理由を統計的に検討し, 合成降雨データと実際の降雨データとの実質的な差異を見いだす。
本研究は,他のコネクテッドタスクから好意的なデリーニング表現を学習することで雨を除去することを提案する。
連結タスクでは、実データ用のラベルを容易に得ることができる。
したがって、私たちの核となるアイデアは、タスク転送を通じて実際のデータから表現を学び、デレーシングの一般化を改善することです。
そこで我々は学習戦略を「textit{task transfer learning}」と呼ぶ。
複数の連結タスクがある場合、知識蒸留によるモデルサイズを減らすことを提案する。
接続タスクの事前学習モデルは教師として扱われ、その知識はすべて学生ネットワークに蒸留され、モデルのサイズが小さくなり、一方、全ての接続タスクから効果的な事前表現が維持される。
最後に、学生ネットワークは、ペアの合成雨データで微調整され、事前訓練された事前表現を導いて雨を取り除く。
広範な実験により、提案するタスク転送学習戦略が驚くほど成功し、最先端の教師あり学習法と比較し、合成データに対する他の半教師あり遅延法を上回ったことが示される。
特に、現実世界のシーンへのより優れた一般化を示している。
関連論文リスト
- A New Benchmark: On the Utility of Synthetic Data with Blender for Bare
Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。
制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。
これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
論文 参考訳(メタデータ) (2023-03-16T09:03:52Z) - Towards Ground Truth for Single Image Deraining [45.50400293855075]
実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。
雨天と清潔な画像の間の雨変量損失を最小限に抑えて、基盤となるシーンを再構築するディープニューラルネットワークを提案する。
本モデルでは, 種々の条件下での実際の降雨画像において, 最先端のデレーニング手法よりも優れた性能を示すことができる。
論文 参考訳(メタデータ) (2022-06-22T00:10:06Z) - Unsupervised Image Deraining: Optimization Model Driven Deep CNN [24.06511813683977]
実雨除去のための一般化と表現のメリットを継承する統一的な教師なし学習フレームワークを提案する。
提案するネットワーク上で,最適化モデルの教師なし損失関数を適用可能な最適化モデル駆動深度CNNを設計する。
ネットワークのアーキテクチャは、より優れた特徴表現を備えた最適化モデルの主要な役割を模倣する。
論文 参考訳(メタデータ) (2022-03-25T15:13:52Z) - A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。
合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。
我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文 参考訳(メタデータ) (2021-08-25T02:29:28Z) - Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data [64.40187171234838]
季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。
SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
論文 参考訳(メタデータ) (2021-03-30T18:26:39Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳(メタデータ) (2021-03-14T14:28:57Z) - Syn2Real Transfer Learning for Image Deraining using Gaussian Processes [92.15895515035795]
CNNに基づく画像デライニング手法は,再現誤差や視覚的品質の点で優れた性能を発揮している。
実世界の完全ラベル付き画像デライニングデータセットを取得する上での課題により、既存の手法は合成されたデータのみに基づいて訓練される。
本稿では,ガウス過程に基づく半教師付き学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-10T00:33:18Z) - Laplacian Denoising Autoencoder [114.21219514831343]
本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。
勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。
いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
論文 参考訳(メタデータ) (2020-03-30T16:52:39Z) - Semi-DerainGAN: A New Semi-supervised Single Image Deraining Network [45.78251508028359]
本稿では,セミデリンGANと呼ばれる,半教師付きGANベースのデラミニングネットワークを提案する。
2つの教師なしおよび教師なしのプロセスを使用して、一様ネットワークで合成画像と実際の雨画像の両方を使用することができる。
そこで我々は,実対と偽対を識別する識別器を設計した。
論文 参考訳(メタデータ) (2020-01-23T07:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。