論文の概要: Removing Rain Streaks via Task Transfer Learning
- arxiv url: http://arxiv.org/abs/2208.13133v1
- Date: Sun, 28 Aug 2022 03:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 14:00:11.242753
- Title: Removing Rain Streaks via Task Transfer Learning
- Title（参考訳）: タスク伝達学習による降雨ストリークの除去
- Authors: Yinglong Wang and Chao Ma and Jianzhuang Liu
- Abstract要約: まず,教師付きデラインモデルが実際の降雨事例に対してうまく一般化できない理由を統計的に検討する。
連結タスクでは、実データ用のラベルを容易に得ることができる。
我々の中核となる考え方は、タスク転送を通じて実データから表現を学習し、デライン化の一般化を改善することである。
- 参考スコア（独自算出の注目度）: 39.511454098771026
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Due to the difficulty in collecting paired real-world training data, image
deraining is currently dominated by supervised learning with synthesized data
generated by e.g., Photoshop rendering. However, the generalization to real
rainy scenes is usually limited due to the gap between synthetic and real-world
data. In this paper, we first statistically explore why the supervised
deraining models cannot generalize well to real rainy cases, and find the
substantial difference of synthetic and real rainy data. Inspired by our
studies, we propose to remove rain by learning favorable deraining
representations from other connected tasks. In connected tasks, the label for
real data can be easily obtained. Hence, our core idea is to learn
representations from real data through task transfer to improve deraining
generalization. We thus term our learning strategy as \textit{task transfer
learning}. If there are more than one connected tasks, we propose to reduce
model size by knowledge distillation. The pretrained models for the connected
tasks are treated as teachers, all their knowledge is distilled to a student
network, so that we reduce the model size, meanwhile preserve effective prior
representations from all the connected tasks. At last, the student network is
fine-tuned with minority of paired synthetic rainy data to guide the pretrained
prior representations to remove rain. Extensive experiments demonstrate that
proposed task transfer learning strategy is surprisingly successful and
compares favorably with state-of-the-art supervised learning methods and
apparently surpass other semi-supervised deraining methods on synthetic data.
Particularly, it shows superior generalization over them to real-world scenes.
- Abstract（参考訳）: ペアな実世界のトレーニングデータの収集が難しいため、現在、photoshopレンダリングなどの合成データを使った教師付き学習が主流となっている。
しかし、実際の雨景色への一般化は通常、合成データと現実世界データとのギャップのため制限される。
本稿では, 実際の降雨事例に対して, 教師付きデラライニングモデルが一般化できない理由を統計的に検討し, 合成降雨データと実際の降雨データとの実質的な差異を見いだす。
本研究は,他のコネクテッドタスクから好意的なデリーニング表現を学習することで雨を除去することを提案する。
連結タスクでは、実データ用のラベルを容易に得ることができる。
したがって、私たちの核となるアイデアは、タスク転送を通じて実際のデータから表現を学び、デレーシングの一般化を改善することです。
そこで我々は学習戦略を「textit{task transfer learning}」と呼ぶ。
複数の連結タスクがある場合、知識蒸留によるモデルサイズを減らすことを提案する。
接続タスクの事前学習モデルは教師として扱われ、その知識はすべて学生ネットワークに蒸留され、モデルのサイズが小さくなり、一方、全ての接続タスクから効果的な事前表現が維持される。
最後に、学生ネットワークは、ペアの合成雨データで微調整され、事前訓練された事前表現を導いて雨を取り除く。
広範な実験により、提案するタスク転送学習戦略が驚くほど成功し、最先端の教師あり学習法と比較し、合成データに対する他の半教師あり遅延法を上回ったことが示される。
特に、現実世界のシーンへのより優れた一般化を示している。
関連論文リスト
- Behaviour Distillation [10.437472004180883]
我々は、専門家ポリシーのトレーニングに必要な情報を合成データセットに発見・凝縮することを目的とした行動蒸留を定式化する。
次に,Halucinating datasets with Evolution Strategies (HaDES)を紹介した。
これらのデータセットは分散から多種多様なアーキテクチャでトレーニングポリシーへと一般化されていることを示す。
また、下流タスク、すなわちゼロショット方式でマルチタスクエージェントを訓練するアプリケーションの実演を行う。
論文 参考訳（メタデータ） (2024-06-21T10:45:43Z) - Mind the Gap Between Synthetic and Real: Utilizing Transfer Learning to Probe the Boundaries of Stable Diffusion Generated Data [2.6016285265085526]
学生モデルは、実際のデータで訓練されたモデルと比較して、精度が著しく低下している。
実データまたは合成データを用いてこれらのレイヤをトレーニングすることにより、ドロップが主にモデルの最終的なレイヤに由来することを明らかにする。
この結果から,実際のトレーニングデータの量とモデルの精度とのトレードオフの改善が示唆された。
論文 参考訳（メタデータ） (2024-05-06T07:51:13Z) - Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model [51.49854435403139]
本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。
安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。
また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-01-23T13:34:01Z) - Not Just Streaks: Towards Ground Truth for Single Image Deraining [42.15398478201746]
実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。
本稿では,雨天と清潔な画像の間の雨害損失を最小限に抑え,基盤となるシーンを再構築するディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-06-22T00:10:06Z) - Unsupervised Image Deraining: Optimization Model Driven Deep CNN [24.06511813683977]
実雨除去のための一般化と表現のメリットを継承する統一的な教師なし学習フレームワークを提案する。
提案するネットワーク上で,最適化モデルの教師なし損失関数を適用可能な最適化モデル駆動深度CNNを設計する。
ネットワークのアーキテクチャは、より優れた特徴表現を備えた最適化モデルの主要な役割を模倣する。
論文 参考訳（メタデータ） (2022-03-25T15:13:52Z) - A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。
合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。
我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文 参考訳（メタデータ） (2021-08-25T02:29:28Z) - Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data [64.40187171234838]
季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。
SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
論文 参考訳（メタデータ） (2021-03-30T18:26:39Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳（メタデータ） (2021-03-14T14:28:57Z) - Syn2Real Transfer Learning for Image Deraining using Gaussian Processes [92.15895515035795]
CNNに基づく画像デライニング手法は,再現誤差や視覚的品質の点で優れた性能を発揮している。
実世界の完全ラベル付き画像デライニングデータセットを取得する上での課題により、既存の手法は合成されたデータのみに基づいて訓練される。
本稿では,ガウス過程に基づく半教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-10T00:33:18Z) - Semi-DerainGAN: A New Semi-supervised Single Image Deraining Network [45.78251508028359]
本稿では,セミデリンGANと呼ばれる,半教師付きGANベースのデラミニングネットワークを提案する。
2つの教師なしおよび教師なしのプロセスを使用して、一様ネットワークで合成画像と実際の雨画像の両方を使用することができる。
そこで我々は,実対と偽対を識別する識別器を設計した。
論文 参考訳（メタデータ） (2020-01-23T07:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。