論文の概要: Rain Removal from Light Field Images with 4D Convolution and Multi-scale Gaussian Process

• arxiv url: http://arxiv.org/abs/2208.07735v1
• Date: Tue, 16 Aug 2022 13:09:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 12:54:56.239078
• Title: Rain Removal from Light Field Images with 4D Convolution and Multi-scale Gaussian Process
• Title（参考訳）: 4次元畳み込みとマルチスケールガウス過程による光界画像からの雨除去
• Authors: Tao Yan, Mingyue Li, Bin Li, Yang Yang, Rynson W.H. Lau
• Abstract要約: 1枚の入力画像だけでは、正確に雨害を検出し、雨害を除去し、無雨画像を復元することは極めて困難である。 単一の2次元画像と比較すると、光場画像(LFI)は、対象シーンの豊富な3次元構造とテクスチャ情報を埋め込む。 そこで我々は,LFIから降雨ストリーク除去のための新しいネットワークである4D-MGP-SRRNetを提案する。
• 参考スコア（独自算出の注目度）: 38.2995970847287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing deraining methods mainly focus on a single input image. With just a single input image, it is extremely difficult to accurately detect rain streaks, remove rain streaks, and restore rain-free images. Compared with a single 2D image, a light field image (LFI) embeds abundant 3D structure and texture information of the target scene by recording the direction and position of each incident ray via a plenoptic camera, which has emerged as a popular device in the computer vision and graphics research communities. In this paper, we propose a novel network, 4D-MGP-SRRNet, for rain streak removal from an LFI. Our method takes as input all sub-views of a rainy LFI. In order to make full use of the LFI, we adopt 4D convolutional layers to build the proposed rain steak removal network to simultaneously process all sub-views of the LFI. In the proposed network, the rain detection model, MGPDNet, with a novel Multi-scale Self-guided Gaussian Process (MSGP) module is proposed to detect rain streaks from all sub-views of the input LFI. Semi-supervised learning is introduced to accurately detect rain streaks by training on both virtual-world rainy LFIs and real-world rainy LFIs at multiple scales via calculating pseudo ground truth for real-world rain streaks. All sub-views subtracting the predicted rain streaks are then fed into a 4D residual model to estimate depth maps. Finally, all sub-views concatenated with the corresponding rain streaks and fog maps converted from the estimated depth maps are fed into a rainy LFI restoring model that is based on the adversarial recurrent neural network to progressively eliminate rain streaks and recover the rain-free LFI. Extensive quantitative and qualitative evaluations conducted on both synthetic LFIs and real-world LFIs demonstrate the effectiveness of our proposed method.
• Abstract（参考訳）: 既存のデラリニング手法は主に1つの入力画像に焦点をあてる。 1枚の入力画像だけでは、正確に雨害を検出し、雨害を除去し、無雨画像を復元することは極めて困難である。 光源画像(lfi)は、単一の2d画像と比較すると、コンピュータビジョンおよびグラフィック研究コミュニティで人気のデバイスとして出現したplenopticカメラを介して各入射光の方向と位置を記録することにより、ターゲットシーンの豊富な3d構造及びテクスチャ情報を埋め込む。 本稿では,LFIから雨害除去のための新しいネットワークである4D-MGP-SRRNetを提案する。 我々の手法は雨のLFIのサブビューを全て入力する。 LFIをフル活用するために,提案するレインステーキ除去ネットワークを構築するために4次元畳み込み層を採用し,LFIの全サブビューを同時に処理する。 提案するネットワークでは,入力LFIのすべてのサブビューから降雨ストリークを検出するために,新しいマルチスケール自己誘導型ガウスプロセス(MSGP)モジュールを用いた降雨検出モデルMGPDNetを提案する。 仮想降雨LFIと実降雨LFIの両方を複数スケールでトレーニングし,実際の降雨ストリークに対する擬似基底真理を計算することにより,降雨ストリークを正確に検出するために半教師学習を導入した。 降雨量を予測するサブビューはすべて4次元残差モデルに入力され、深度マップを推定する。 最後に、推定深度マップから変換された降雨ストリークと霧マップに連結された全てのサブビューを、逆流ニューラルネットワークに基づく降雨LFI復元モデルに入力し、降雨ストリークを段階的に除去し、無雨LFIを回復する。 合成LFIと実世界のLFIを併用した大規模定量および定性評価を行い,提案手法の有効性を示した。

関連論文リスト

• MDeRainNet: An Efficient Neural Network for Rain Streak Removal from Macro-pixel Images [44.83349966064718]
  我々は,LF画像から降雨ストリーク除去を行うために,MDeRainNetと呼ばれる効率的なネットワークを提案する。 提案するネットワークはマルチスケールエンコーダデコーダアーキテクチャを採用し, 直接マクロピクセル画像(MPI)を用いて降雨除去性能を向上する。 そこで本研究では,MDeRainNetのための新しい半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-15T14:47:02Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• Semi-MoreGAN: A New Semi-supervised Generative Adversarial Network for Mixture of Rain Removal [18.04268933542476]
  降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水) セミモレGANは、4つの重要なモジュールで構成されている: (I) 正確な深度推定を提供する新しい注意深度予測ネットワーク、 (ii) 詳細な画像コンテキスト特徴を生成するためによく設計された詳細残差ブロックで構成されたコンテキスト特徴予測ネットワーク、 (iii) ピラミッド深度誘導非局所ネットワークにより画像コンテキストを深度情報と有効に統合し、最終雨量のない画像を生成する、 (iv) モデルに制限を加えるための包括的な半教師付き損失関数。
  論文  参考訳（メタデータ） (2022-04-28T11:35:26Z)
• Structure-Preserving Deraining with Residue Channel Prior Guidance [33.41254475191555]
  多くのハイレベルコンピュータビジョンタスクにおいて、単一画像のデアライニングが重要である。 RCP誘導を用いた構造保存評価ネットワーク(SPDNet)を提案する。 SPDNetは、RCPガイダンスの下で、明瞭で正確な構造を持つ高品質な無雨画像を直接生成する。
  論文  参考訳（メタデータ） (2021-08-20T09:09:56Z)
• RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining [49.99207211126791]
  雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。 RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。 このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
  論文  参考訳（メタデータ） (2021-07-14T16:08:11Z)
• A Model-driven Deep Neural Network for Single Image Rain Removal [52.787356046951494]
  完全解釈可能なネットワーク構造を持つモデル駆動型ディープニューラルネットワークを提案する。 雨を表現するための畳み込み辞書学習機構に基づいて,新しい単一画像デレーニングモデルを提案する。 すべてのレインカーネルとオペレータは自動的に抽出され、レイン層とクリーンなバックグラウンド層の両方の特徴を忠実に特徴付けることができる。
  論文  参考訳（メタデータ） (2020-05-04T09:13:25Z)
• Physical Model Guided Deep Image Deraining [10.14977592107907]
  降雨画像の劣化により、多くのコンピュータビジョンシステムが動作しないため、単一画像のデライン化は緊急の課題である。 本研究では, 物理モデルを用いた単一画像デライニングのための新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T07:08:13Z)
• Multi-Scale Progressive Fusion Network for Single Image Deraining [84.0466298828417]
  空気中の雨のストリークは、位置からカメラまでの距離が異なるため、様々なぼやけた度合いや解像度で現れる。 同様の降雨パターンは、雨像やマルチスケール(またはマルチレゾリューション)バージョンで見ることができる。 本研究では,入力画像のスケールと階層的な深部特徴の観点から,雨天のマルチスケール協調表現について検討する。
  論文  参考訳（メタデータ） (2020-03-24T17:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。