論文の概要: EWT: Efficient Wavelet-Transformer for Single Image Denoising
- arxiv url: http://arxiv.org/abs/2304.06274v1
- Date: Thu, 13 Apr 2023 05:17:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-14 15:43:00.131941
- Title: EWT: Efficient Wavelet-Transformer for Single Image Denoising
- Title(参考訳): EWT:シングルイメージデノーミングのための効率的なウェーブレット変換器
- Authors: Juncheng Li, Bodong Cheng, Ying Chen, Guangwei Gao, Tieyong Zeng
- Abstract要約: トランスフォーマーベースの画像復号化手法は、過去1年間に奨励的な成果を上げてきた。
現在のTransformerベースの画像復号法では,性能改善と資源消費のバランスが取れない。
画像復調のための効率的なウェーブレット変換器(EWT)を提案する。
- 参考スコア(独自算出の注目度): 22.640705765467246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based image denoising methods have achieved encouraging results
in the past year. However, it must uses linear operations to model long-range
dependencies, which greatly increases model inference time and consumes GPU
storage space. Compared with convolutional neural network-based methods,
current Transformer-based image denoising methods cannot achieve a balance
between performance improvement and resource consumption. In this paper, we
propose an Efficient Wavelet Transformer (EWT) for image denoising.
Specifically, we use Discrete Wavelet Transform (DWT) and Inverse Wavelet
Transform (IWT) for downsampling and upsampling, respectively. This method can
fully preserve the image features while reducing the image resolution, thereby
greatly reducing the device resource consumption of the Transformer model.
Furthermore, we propose a novel Dual-stream Feature Extraction Block (DFEB) to
extract image features at different levels, which can further reduce model
inference time and GPU memory usage. Experiments show that our method speeds up
the original Transformer by more than 80%, reduces GPU memory usage by more
than 60%, and achieves excellent denoising results. All code will be public.
- Abstract(参考訳): 変圧器を用いた画像デノイジング手法は,過去1年間で有望な成果を上げている。
しかし、長距離依存関係のモデル化には線形演算を使用する必要があり、モデル推論時間を大幅に増加させ、gpuストレージ空間を消費する。
畳み込みニューラルネットワークに基づく手法と比較すると、現在のトランスフォーマーベースの画像デノージング手法では、パフォーマンス改善とリソース消費のバランスが取れない。
本稿では,画像復調のための効率的なウェーブレット変換器(EWT)を提案する。
具体的には,ダウンサンプリングとアップサンプリングに離散ウェーブレット変換(dwt)と逆ウェーブレット変換(iwt)を用いる。
この方法は、画像解像度を小さくしながら画像特徴を完全に保存し、トランスフォーマーモデルのデバイスリソース消費を大幅に削減する。
さらに、異なるレベルの画像特徴を抽出し、モデル推論時間とGPUメモリ使用量をさらに削減できる新しいデュアルストリーム特徴抽出ブロック(DFEB)を提案する。
実験の結果,元のTransformerを80%以上高速化し,GPUメモリ使用量を60%以上削減し,優れた復調結果が得られることがわかった。
すべてのコードは公開されます。
関連論文リスト
- Faster Inference of Integer SWIN Transformer by Removing the GELU
Activation [6.043526197249358]
SWIN変換器は画像分類タスクにおける最先端の精度を持つ顕著な視覚変換器モデルである。
本研究では,浮動小数点演算を除去することで,最先端手法の推論遅延を改善する。
我々は、画像Net評価データセット上で0.5%以下の精度低下を維持しながら、量子化SWIN変換器の推論遅延を少なくとも11%以上改善できることを示す。
論文 参考訳(メタデータ) (2024-02-02T06:23:00Z) - Progressive Learning with Visual Prompt Tuning for Variable-Rate Image
Compression [60.689646881479064]
本稿では,変圧器を用いた可変レート画像圧縮のためのプログレッシブラーニングパラダイムを提案する。
視覚的プロンプトチューニングにインスパイアされた私たちは,エンコーダ側とデコーダ側でそれぞれ入力画像と隠蔽特徴のプロンプトを抽出するためにLPMを使用する。
提案モデルでは, 速度歪み特性の観点から現行の可変画像法よりも優れ, スクラッチから訓練した最先端の固定画像圧縮法にアプローチする。
論文 参考訳(メタデータ) (2023-11-23T08:29:32Z) - A cross Transformer for image denoising [83.68175077524111]
直列ブロック(SB)、並列ブロック(PB)、残留ブロック(RB)を備えたクロストランスフォーマー(CTNet)を提案する。
CTNetは、実画像や合成画像のデノナイジングにおいて、一般的なデノナイジング法よりも優れている。
論文 参考訳(メタデータ) (2023-10-16T13:53:19Z) - WaveMixSR: A Resource-efficient Neural Network for Image
Super-resolution [2.0477182014909205]
本稿では、WaveMixアーキテクチャに基づく画像超解像のための新しいニューラルネットワーク、WaveMixSRを提案する。
WaveMixSRは、すべてのデータセットで競合性能を達成し、複数の超解像度タスクでBSD100データセットで最先端のパフォーマンスに達する。
論文 参考訳(メタデータ) (2023-07-01T21:25:03Z) - WavePaint: Resource-efficient Token-mixer for Self-supervised Inpainting [2.3014300466616078]
本稿では、計算効率の良いWaveMixベースの完全畳み込みアーキテクチャであるWavePaintを用いて、視覚変換器から分岐する。
2次元離散ウェーブレット変換(DWT)を用いて、畳み込み層とともに、空間的および多重解像度のトークン混合を行う。
我々のモデルは、CelebA-HQデータセットの現在のGANアーキテクチャよりも優れている。
論文 参考訳(メタデータ) (2023-07-01T18:41:34Z) - Multi-stage image denoising with the wavelet transform [125.2251438120701]
深部畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、正確な構造情報を自動マイニングすることで、画像の復調に使用される。
動的畳み込みブロック(DCB)、2つのカスケードウェーブレット変換および拡張ブロック(WEB)、残留ブロック(RB)の3段階を経由した、MWDCNNによるCNNの多段階化を提案する。
論文 参考訳(メタデータ) (2022-09-26T03:28:23Z) - DnSwin: Toward Real-World Denoising via Continuous Wavelet
Sliding-Transformer [40.21145302686399]
本研究では,実環境下での周波数対応を実現する連続ウェーブレットスライディング変換器を提案する。
具体的には、まず、CNNエンコーダを用いてノイズの多い入力画像からボトム特徴を抽出する。
我々は、CNNデコーダを用いて、深い特徴を復号化画像に再構成する。
論文 参考訳(メタデータ) (2022-07-28T02:33:57Z) - Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。
トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。
我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
論文 参考訳(メタデータ) (2021-11-18T18:59:10Z) - AFTer-UNet: Axial Fusion Transformer UNet for Medical Image Segmentation [19.53151547706724]
トランスをベースとしたモデルは、医療画像セグメンテーションにおけるこれらの手法の探求に注目されている。
本稿では、畳み込み層の長周期モデリングにおける詳細特徴抽出能力と変圧器強度の両面を活かしたAxial Fusion Transformer UNet(AFTer-UNet)を提案する。
パラメータが少なく、GPUメモリのトレーニングも従来のトランスフォーマーベースのモデルよりも少ない。
論文 参考訳(メタデータ) (2021-10-20T06:47:28Z) - Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and
Video Denoising [104.59305271099967]
ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。
時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。
本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
論文 参考訳(メタデータ) (2021-01-26T13:00:46Z) - Progressive Training of Multi-level Wavelet Residual Networks for Image
Denoising [80.10533234415237]
本稿では,マルチレベルウェーブレット残差ネットワーク(MWRN)アーキテクチャと,画像復調性能向上のためのプログレッシブトレーニング手法を提案する。
人工ノイズ画像と実世界のノイズ画像の両方で実験したところ、PT-MWRNは最先端のノイズ評価法に対して良好に機能することがわかった。
論文 参考訳(メタデータ) (2020-10-23T14:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。