論文の概要: Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining

• arxiv url: http://arxiv.org/abs/2404.01547v1
• Date: Tue, 2 Apr 2024 01:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 18:27:47.621217
• Title: Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining
• Title（参考訳）: 画像レイニングのための双方向多スケール命令型ニューラル表現
• Authors: Xiang Chen, Jinshan Pan, Jiangxin Dong,
• Abstract要約: 高品質な画像再構成を実現するために,エンド・ツー・エンドのマルチスケールトランスを開発した。 クローズドループ設計において、劣化した入力を持つ画素座標に基づいて、スケール内の暗黙的ニューラル表現を組み込む。 我々のアプローチはNeRD-Rainと呼ばれ、合成および実世界のベンチマークデータセットにおいて最先端のアプローチに対して好意的に実行されます。
• 参考スコア（独自算出の注目度）: 47.15857899099733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to effectively explore multi-scale representations of rain streaks is important for image deraining. In contrast to existing Transformer-based methods that depend mostly on single-scale rain appearance, we develop an end-to-end multi-scale Transformer that leverages the potentially useful features in various scales to facilitate high-quality image reconstruction. To better explore the common degradation representations from spatially-varying rain streaks, we incorporate intra-scale implicit neural representations based on pixel coordinates with the degraded inputs in a closed-loop design, enabling the learned features to facilitate rain removal and improve the robustness of the model in complex scenarios. To ensure richer collaborative representation from different scales, we embed a simple yet effective inter-scale bidirectional feedback operation into our multi-scale Transformer by performing coarse-to-fine and fine-to-coarse information communication. Extensive experiments demonstrate that our approach, named as NeRD-Rain, performs favorably against the state-of-the-art ones on both synthetic and real-world benchmark datasets. The source code and trained models are available at https://github.com/cschenxiang/NeRD-Rain.
• Abstract（参考訳）: レインストリークのマルチスケール表現を効果的に探索する方法は,画像のデライン化に重要である。 単一スケールの降雨量に大きく依存する既存のTransformer方式とは対照的に,高品質な画像再構成を実現するために,様々なスケールで潜在的に有用な機能を利用するエンドツーエンドのマルチスケールトランスフォーマーを開発した。 空間的に変化する雨害からの一般的な劣化表現をよりよく探索するため, 閉鎖ループ設計において, 劣化した入力と画素座標に基づく大規模暗黙的ニューラル表現を組み込むことで, 学習した特徴が雨の除去を容易にし, 複雑なシナリオにおけるモデルの堅牢性を向上させることができる。 異なるスケールからよりリッチな協調表現を実現するため、粗大かつ細小な情報通信を行うことにより、単純かつ効果的な双方向フィードバック操作をマルチスケールトランスフォーマーに組み込む。 大規模な実験により、我々のアプローチはNeRD-Rainと呼ばれ、合成および実世界のベンチマークデータセットにおいて最先端のアプローチに対して好意的に機能することが示された。 ソースコードとトレーニングされたモデルはhttps://github.com/cschenxiang/NeRD-Rain.orgで公開されている。

関連論文リスト

• Dual-Path Multi-Scale Transformer for High-Quality Image Deraining [1.7104836047593197]
  高品質な画像再構成のためのデュアルパスマルチスケールトランス (DPMformer) を提案する。 この方法は、2つの異なるマルチスケールアプローチからのバックボーンパスと2つの分岐パスから構成される。 提案手法は,他の最先端手法と比較して有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-05-28T12:31:23Z)
• RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering [50.14860376758962]
  多視点降雨画像の集合からクリーンなシーンを再構築するための教師なしフレームワークであるRainyScapeを提案する。 ニューラルネットワークのスペクトルバイアス特性に基づいて、まずニューラルネットワークのレンダリングパイプラインを最適化し、低周波シーン表現を得る。 我々は2つのモジュールを協調的に最適化し,適応的指向性勾配に基づく再構成損失によって駆動する。
  論文  参考訳（メタデータ） (2024-04-17T14:07:22Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining [47.764883957379745]
  雨のストリークは撮影画像の可視性を著しく低下させる。 既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。 本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:51:41Z)
• Online-updated High-order Collaborative Networks for Single Image Deraining [51.22694467126883]
  単一画像のデライン化は、ビデオ監視や自動運転システムなど、下流の人工知能アプリケーションにとって重要なタスクである。 マルチスケールのコンパクトな制約と双方向のスケール・コンテント類似性マイニングモジュールを備えた高階協調ネットワークを提案する。 提案手法は,5つの公開合成と1つの実世界のデータセットに対して,11の最先端手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-02-14T09:09:08Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Multi-Scale Hourglass Hierarchical Fusion Network for Single Image Deraining [8.964751500091005]
  雨のひもはサイズ、方向および密度で頻繁に変わる深刻なぼやけおよび視覚質の低下をもたらします。 現在のCNN方式は, 降雨特性の描写や, 可視性に乏しい環境下でのイメージの復元に限られている。 本稿では,マルチスケール抽出,階層蒸留,情報集約による雨天の特徴を正確に把握するために,マルチスケールのHH2F-Netを提案する。
  論文  参考訳（メタデータ） (2021-04-25T08:27:01Z)
• Single Image Deraining via Scale-space Invariant Attention Neural Network [58.5284246878277]
  我々は,カメラに対するレインステーキの外観の視覚的変化に対処するスケールの概念に取り組む。 本稿では,画素領域よりもコンパクトでロバストな畳み込み特徴領域のマルチスケール相関を表現することを提案する。 このようにして、機能マップの最も活発な存在を、有能な特徴として要約する。
  論文  参考訳（メタデータ） (2020-06-09T04:59:26Z)
• Multi-Scale Progressive Fusion Network for Single Image Deraining [84.0466298828417]
  空気中の雨のストリークは、位置からカメラまでの距離が異なるため、様々なぼやけた度合いや解像度で現れる。 同様の降雨パターンは、雨像やマルチスケール(またはマルチレゾリューション)バージョンで見ることができる。 本研究では,入力画像のスケールと階層的な深部特徴の観点から,雨天のマルチスケール協調表現について検討する。
  論文  参考訳（メタデータ） (2020-03-24T17:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。