論文の概要: RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering

• arxiv url: http://arxiv.org/abs/2404.11401v1
• Date: Wed, 17 Apr 2024 14:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 13:45:12.014189
• Title: RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering
• Title（参考訳）: RainyScape: Decoupled Neural Rendering を用いた教師なしレインシーン再構築
• Authors: Xianqiang Lyu, Hui Liu, Junhui Hou,
• Abstract要約: 多視点降雨画像の集合からクリーンなシーンを再構築するための教師なしフレームワークであるRainyScapeを提案する。 ニューラルネットワークのスペクトルバイアス特性に基づいて、まずニューラルネットワークのレンダリングパイプラインを最適化し、低周波シーン表現を得る。 我々は2つのモジュールを協調的に最適化し,適応的指向性勾配に基づく再構成損失によって駆動する。
• 参考スコア（独自算出の注目度）: 50.14860376758962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose RainyScape, an unsupervised framework for reconstructing clean scenes from a collection of multi-view rainy images. RainyScape consists of two main modules: a neural rendering module and a rain-prediction module that incorporates a predictor network and a learnable latent embedding that captures the rain characteristics of the scene. Specifically, based on the spectral bias property of neural networks, we first optimize the neural rendering pipeline to obtain a low-frequency scene representation. Subsequently, we jointly optimize the two modules, driven by the proposed adaptive direction-sensitive gradient-based reconstruction loss, which encourages the network to distinguish between scene details and rain streaks, facilitating the propagation of gradients to the relevant components. Extensive experiments on both the classic neural radiance field and the recently proposed 3D Gaussian splatting demonstrate the superiority of our method in effectively eliminating rain streaks and rendering clean images, achieving state-of-the-art performance. The constructed high-quality dataset and source code will be publicly available.
• Abstract（参考訳）: 多視点降雨画像の集合からクリーンなシーンを再構築するための教師なしフレームワークであるRainyScapeを提案する。 RainyScapeは、ニューラルネットワークレンダリングモジュールと予測ネットワークを組み込んだ降雨予測モジュールと、シーンの降雨特性をキャプチャする学習可能な潜水埋め込みの2つの主要モジュールで構成されている。 具体的には、ニューラルネットワークのスペクトルバイアス特性に基づいて、まずニューラルネットワークのレンダリングパイプラインを最適化し、低周波シーン表現を得る。 次に, 適応方向依存性の勾配に基づく復元損失によって駆動される2つのモジュールを協調的に最適化し, ネットワークがシーンの詳細と雨害を区別し, 勾配を関連コンポーネントに伝播させる。 古典的ニューラルラディアンス場と最近提案された3次元ガウススプラッティングの併用実験は,雨害を効果的に排除し,クリーンな画像をレンダリングし,最先端の性能を達成する上で,我々の手法の優位性を実証している。 構築された高品質のデータセットとソースコードが公開されている。

関連論文リスト

• Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining [47.764883957379745]
  雨のストリークは撮影画像の可視性を著しく低下させる。 既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。 本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:51:41Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• From heavy rain removal to detail restoration: A faster and better network [26.60300982543502]
  そこで本研究では,DPENetと呼ばれる2段階進行性拡張ネットワークを導入し,効率的なデラリニングを実現する。 本手法は,雨害除去ネットワーク(R$2$Net)と,無雨画像のテクスチャ的詳細を復元する詳細再構成ネットワーク(DRNet)の2つの重要なモジュールから構成される。
  論文  参考訳（メタデータ） (2022-05-07T04:55:05Z)
• Semi-MoreGAN: A New Semi-supervised Generative Adversarial Network for Mixture of Rain Removal [18.04268933542476]
  降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水) セミモレGANは、4つの重要なモジュールで構成されている: (I) 正確な深度推定を提供する新しい注意深度予測ネットワーク、 (ii) 詳細な画像コンテキスト特徴を生成するためによく設計された詳細残差ブロックで構成されたコンテキスト特徴予測ネットワーク、 (iii) ピラミッド深度誘導非局所ネットワークにより画像コンテキストを深度情報と有効に統合し、最終雨量のない画像を生成する、 (iv) モデルに制限を加えるための包括的な半教師付き損失関数。
  論文  参考訳（メタデータ） (2022-04-28T11:35:26Z)
• Semi-DRDNet Semi-supervised Detail-recovery Image Deraining Network via Unpaired Contrastive Learning [59.22620253308322]
  半教師付き詳細復元画像デラミニングネットワーク(セミDRDNet)を提案する。 半教師付き学習パラダイムとして、Semi-DRDNetは、強靭性と詳細な精度を犠牲にして、合成データと実世界の降雨データの両方を円滑に運用する。
  論文  参考訳（メタデータ） (2022-04-06T12:35:27Z)
• Structure-Preserving Deraining with Residue Channel Prior Guidance [33.41254475191555]
  多くのハイレベルコンピュータビジョンタスクにおいて、単一画像のデアライニングが重要である。 RCP誘導を用いた構造保存評価ネットワーク(SPDNet)を提案する。 SPDNetは、RCPガイダンスの下で、明瞭で正確な構造を持つ高品質な無雨画像を直接生成する。
  論文  参考訳（メタデータ） (2021-08-20T09:09:56Z)
• RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining [49.99207211126791]
  雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。 RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。 このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
  論文  参考訳（メタデータ） (2021-07-14T16:08:11Z)
• Exploiting Global and Local Attentions for Heavy Rain Removal on Single Images [35.596659286313766]
  単一画像からの豪雨除去は、雨のストレークと霧を同時に排除する作業である。 既存の降雨除去方法は, 大雨の場合, あまり一般的ではない。 3つのサブネットワークからなる新しいネットワークアーキテクチャを提案し、単一の画像から大雨を取り除く。
  論文  参考訳（メタデータ） (2021-04-16T14:08:27Z)
• A Model-driven Deep Neural Network for Single Image Rain Removal [52.787356046951494]
  完全解釈可能なネットワーク構造を持つモデル駆動型ディープニューラルネットワークを提案する。 雨を表現するための畳み込み辞書学習機構に基づいて,新しい単一画像デレーニングモデルを提案する。 すべてのレインカーネルとオペレータは自動的に抽出され、レイン層とクリーンなバックグラウンド層の両方の特徴を忠実に特徴付けることができる。
  論文  参考訳（メタデータ） (2020-05-04T09:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。