論文の概要: IRConStyle: Image Restoration Framework Using Contrastive Learning and
Style Transfer
- arxiv url: http://arxiv.org/abs/2402.15784v1
- Date: Sat, 24 Feb 2024 10:52:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 17:03:32.722246
- Title: IRConStyle: Image Restoration Framework Using Contrastive Learning and
Style Transfer
- Title（参考訳）: IRConStyle:コントラスト学習とスタイル伝達を用いた画像復元フレームワーク
- Authors: Dongqi Fan, Xin Zhao, Liang Chang
- Abstract要約: 我々は、任意のU-Net構造ネットワークに効率的に統合できる textbfConStyle と呼ばれる、画像復元のための新しいモジュールを提案する。
我々は,デノナイジング,デラミニング,デヘイジングなど,様々な画像修復作業について広範囲にわたる実験を行った。
19のベンチマークの結果は、ConStyleが任意のU-Netベースのネットワークと統合でき、性能を大幅に向上できることを示している。
- 参考スコア（独自算出の注目度）: 5.361977985410345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the contrastive learning paradigm has achieved remarkable success
in high-level tasks such as classification, detection, and segmentation.
However, contrastive learning applied in low-level tasks, like image
restoration, is limited, and its effectiveness is uncertain. This raises a
question: Why does the contrastive learning paradigm not yield satisfactory
results in image restoration? In this paper, we conduct in-depth analyses and
propose three guidelines to address the above question. In addition, inspired
by style transfer and based on contrastive learning, we propose a novel module
for image restoration called \textbf{ConStyle}, which can be efficiently
integrated into any U-Net structure network. By leveraging the flexibility of
ConStyle, we develop a \textbf{general restoration network} for image
restoration. ConStyle and the general restoration network together form an
image restoration framework, namely \textbf{IRConStyle}. To demonstrate the
capability and compatibility of ConStyle, we replace the general restoration
network with transformer-based, CNN-based, and MLP-based networks,
respectively. We perform extensive experiments on various image restoration
tasks, including denoising, deblurring, deraining, and dehazing. The results on
19 benchmarks demonstrate that ConStyle can be integrated with any U-Net-based
network and significantly enhance performance. For instance, ConStyle NAFNet
significantly outperforms the original NAFNet on SOTS outdoor (dehazing) and
Rain100H (deraining) datasets, with PSNR improvements of 4.16 dB and 3.58 dB
with 85% fewer parameters.
- Abstract（参考訳）: 近年, 比較学習パラダイムは, 分類, 検出, セグメンテーションといった高度なタスクにおいて顕著な成功を収めている。
しかし、画像復元のような低レベルのタスクに適用される対照的な学習は限られており、その効果は不確かである。
なぜコントラスト学習パラダイムは、画像復元に十分な結果をもたらすのか?
本稿では,詳細な分析を行い,上記の問題に対処するための3つのガイドラインを提案する。
さらに, スタイル伝達に着想を得て, コントラスト学習に基づいて, 任意の u-net 構造ネットワークに効率的に統合可能な \textbf{constyle} と呼ばれる画像復元のための新しいモジュールを提案する。
ConStyle の柔軟性を活用し,画像復元のための \textbf{ General restoration network} を開発した。
ConStyleと一般的な復元ネットワークは、画像復元フレームワーク、つまり \textbf{IRConStyle}を形成する。
ConStyle の機能と互換性を実証するため, 汎用復元ネットワークをトランスフォーマーベース, CNNベース, MLPベースネットワークに置き換える。
我々は, 脱臭, 脱臭, 脱臭, 脱湿など, 様々な画像修復作業について広範囲にわたる実験を行った。
19のベンチマークの結果は、ConStyleが任意のU-Netネットワークと統合でき、性能を大幅に向上できることを示している。
例えば、ConStyle NAFNetは、オリジナルのNAFNetをSOTSの屋外(脱毛)とRain100Hのデータセットで大幅に上回り、PSNRの4.16dBと3.58dBのパラメータが85%少ない。
関連論文リスト
- ConStyle v2: A Strong Prompter for All-in-One Image Restoration [5.693207891187567]
本稿では,U-Netイメージ復元モデルのための強力なプラグアンドプレイプロンプトであるConStyle v2を紹介する。
実験によると、ConStyle v2は任意のU-Netスタイルの画像復元モデルをオールインワンの画像復元モデルに拡張できる。
論文 参考訳（メタデータ） (2024-06-26T10:46:44Z) - Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。
We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。
提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
論文 参考訳（メタデータ） (2024-01-24T04:25:12Z) - SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
セマンティック・復元型画像復元フレームワークであるSPIREを開発した。
本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。
本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
論文 参考訳（メタデータ） (2023-12-18T17:02:30Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳（メタデータ） (2023-12-12T06:07:21Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳（メタデータ） (2023-08-06T04:51:41Z) - PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。
本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。
PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
論文 参考訳（メタデータ） (2023-06-22T17:59:52Z) - SwinIR: Image Restoration Using Swin Transformer [124.8794221439392]
本研究では,Swin Transformerに基づく画像復元のための強力なベースラインモデルSwinIRを提案する。
SwinIRは、浅い特徴抽出、深い特徴抽出、高品質の画像再構成の3つの部分で構成されている。
画像超解像、画像デノイング、JPEG圧縮アーティファクト削減の3つの代表的なタスクについて実験を行った。
論文 参考訳（メタデータ） (2021-08-23T15:55:32Z) - Deep Amended Gradient Descent for Efficient Spectral Reconstruction from
Single RGB Images [42.26124628784883]
本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。
まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。
AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
論文 参考訳（メタデータ） (2021-08-12T05:54:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。