論文の概要: IRConStyle: Image Restoration Framework Using Contrastive Learning and
Style Transfer
- arxiv url: http://arxiv.org/abs/2402.15784v3
- Date: Thu, 7 Mar 2024 11:00:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 16:46:09.611965
- Title: IRConStyle: Image Restoration Framework Using Contrastive Learning and
Style Transfer
- Title(参考訳): IRConStyle:コントラスト学習とスタイル伝達を用いた画像復元フレームワーク
- Authors: Dongqi Fan, Xin Zhao, Liang Chang
- Abstract要約: 我々は、任意のU-Net構造ネットワークに効率的に統合できる textbfConStyle と呼ばれる、画像復元のための新しいモジュールを提案する。
我々は,デノナイジング,デラミニング,デヘイジングなど,様々な画像修復作業について広範囲にわたる実験を行った。
19のベンチマークの結果は、ConStyleが任意のU-Netベースのネットワークと統合でき、性能を大幅に向上できることを示している。
- 参考スコア(独自算出の注目度): 5.361977985410345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the contrastive learning paradigm has achieved remarkable success
in high-level tasks such as classification, detection, and segmentation.
However, contrastive learning applied in low-level tasks, like image
restoration, is limited, and its effectiveness is uncertain. This raises a
question: Why does the contrastive learning paradigm not yield satisfactory
results in image restoration? In this paper, we conduct in-depth analyses and
propose three guidelines to address the above question. In addition, inspired
by style transfer and based on contrastive learning, we propose a novel module
for image restoration called \textbf{ConStyle}, which can be efficiently
integrated into any U-Net structure network. By leveraging the flexibility of
ConStyle, we develop a \textbf{general restoration network} for image
restoration. ConStyle and the general restoration network together form an
image restoration framework, namely \textbf{IRConStyle}. To demonstrate the
capability and compatibility of ConStyle, we replace the general restoration
network with transformer-based, CNN-based, and MLP-based networks,
respectively. We perform extensive experiments on various image restoration
tasks, including denoising, deblurring, deraining, and dehazing. The results on
19 benchmarks demonstrate that ConStyle can be integrated with any U-Net-based
network and significantly enhance performance. For instance, ConStyle NAFNet
significantly outperforms the original NAFNet on SOTS outdoor (dehazing) and
Rain100H (deraining) datasets, with PSNR improvements of 4.16 dB and 3.58 dB
with 85% fewer parameters.
- Abstract(参考訳): 近年, 比較学習パラダイムは, 分類, 検出, セグメンテーションといった高度なタスクにおいて顕著な成功を収めている。
しかし、画像復元のような低レベルのタスクに適用される対照的な学習は限られており、その効果は不確かである。
なぜコントラスト学習パラダイムは、画像復元に十分な結果をもたらすのか?
本稿では,詳細な分析を行い,上記の問題に対処するための3つのガイドラインを提案する。
さらに, スタイル伝達に着想を得て, コントラスト学習に基づいて, 任意の u-net 構造ネットワークに効率的に統合可能な \textbf{constyle} と呼ばれる画像復元のための新しいモジュールを提案する。
ConStyle の柔軟性を活用し,画像復元のための \textbf{ General restoration network} を開発した。
ConStyleと一般的な復元ネットワークは、画像復元フレームワーク、つまり \textbf{IRConStyle}を形成する。
ConStyle の機能と互換性を実証するため, 汎用復元ネットワークをトランスフォーマーベース, CNNベース, MLPベースネットワークに置き換える。
我々は, 脱臭, 脱臭, 脱臭, 脱湿など, 様々な画像修復作業について広範囲にわたる実験を行った。
19のベンチマークの結果は、ConStyleが任意のU-Netネットワークと統合でき、性能を大幅に向上できることを示している。
例えば、ConStyle NAFNetは、オリジナルのNAFNetをSOTSの屋外(脱毛)とRain100Hのデータセットで大幅に上回り、PSNRの4.16dBと3.58dBのパラメータが85%少ない。
関連論文リスト
- Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。
We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。
提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
論文 参考訳(メタデータ) (2024-01-24T04:25:12Z) - TIP: Text-Driven Image Processing with Semantic and Restoration
Instructions [69.58439476358595]
TIPは、自然言語をユーザフレンドリーなインターフェースとして活用し、画像復元プロセスを制御する、テキスト駆動の画像処理フレームワークである。
生成前の再スケールを学習することで既存のControlNetアーキテクチャを拡張できる新しい融合機構を導入する。
本実験は,TIPの回復性能を芸術的状況と比較し,テキストによる回復効果の制御の柔軟性を提供するとともに,TIPの回復性能を向上することを示した。
論文 参考訳(メタデータ) (2023-12-18T17:02:30Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳(メタデータ) (2023-12-12T06:07:21Z) - Memory augment is All You Need for image restoration [8.480197148953431]
メモリネットという3つの粒度メモリ層とコントラスト学習を提案する。
Derain/Deshadow/Deblurタスクの実験は、これらの手法が修復性能の向上に有効であることを示した。
本モデルでは, 劣化型が異なる3つのデータセットに対して, 有意なPSNR, SSIMゲインを得る。
論文 参考訳(メタデータ) (2023-09-04T06:02:47Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳(メタデータ) (2023-08-06T04:51:41Z) - PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。
本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。
PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
論文 参考訳(メタデータ) (2023-06-22T17:59:52Z) - ClassPruning: Speed Up Image Restoration Networks by Dynamic N:M Pruning [25.371802581339576]
ClassPruningは、パフォーマンスを維持しながら、既存のメソッドが約40%のFLOPを節約するのに役立つ。
本稿では,トレーニングの安定化と性能向上のために,新たなトレーニング戦略と2つの新たな損失条件を提案する。
論文 参考訳(メタデータ) (2022-11-10T11:14:15Z) - SwinIR: Image Restoration Using Swin Transformer [124.8794221439392]
本研究では,Swin Transformerに基づく画像復元のための強力なベースラインモデルSwinIRを提案する。
SwinIRは、浅い特徴抽出、深い特徴抽出、高品質の画像再構成の3つの部分で構成されている。
画像超解像、画像デノイング、JPEG圧縮アーティファクト削減の3つの代表的なタスクについて実験を行った。
論文 参考訳(メタデータ) (2021-08-23T15:55:32Z) - Deep Amended Gradient Descent for Efficient Spectral Reconstruction from
Single RGB Images [42.26124628784883]
本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。
まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。
AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
論文 参考訳(メタデータ) (2021-08-12T05:54:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。