論文の概要: Efficient Image Deblurring Networks based on Diffusion Models
- arxiv url: http://arxiv.org/abs/2401.05907v2
- Date: Wed, 29 May 2024 14:45:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 23:50:38.796507
- Title: Efficient Image Deblurring Networks based on Diffusion Models
- Title（参考訳）: 拡散モデルに基づく効率的な画像分解ネットワーク
- Authors: Kang Chen, Yuanjie Liu,
- Abstract要約: 本稿では,デフォーカスデブロアリングのためのスライディングウインドウモデル,Swintormerについて述べる。
この新しいアプローチの採用により、イテレーション毎にMAC(Multiply-Accumulate Operations)が大幅に削減され、メモリ要件が大幅に削減された。
- 参考スコア（独自算出の注目度）: 7.270945861133668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article presents a sliding window model for defocus deblurring, named Swintormer, which achieves the best performance to date with remarkably low memory usage. This method utilizes a diffusion model to generate latent prior features, aiding in the restoration of more detailed images. Additionally, by adapting the sliding window strategy, it incorporates specialized Transformer blocks to enhance inference efficiency. The adoption of this new approach has led to a substantial reduction in Multiply-Accumulate Operations (MACs) per iteration, drastically cutting down memory requirements. In comparison to the currently leading GRL method, our Swintormer model significantly reduces the computational load that must depend on memory capacity, from 140.35 GMACs to 8.02 GMACs, while improving the Peak Signal-to-Noise Ratio (PSNR) for defocus deblurring from 27.04 dB to 27.07 dB. This innovative technique enables the processing of higher resolution images on memory-limited devices, vastly broadening potential application scenarios. The article wraps up with an ablation study, offering a comprehensive examination of how each network module contributes to the final performance.The source code and model will be available at the following website: https://github.com/bnm6900030/swintormer.
- Abstract（参考訳）: 本稿では,デフォーカスデブロアリングのためのスライディングウインドウモデル,Swintormerについて述べる。
この方法は拡散モデルを用いて遅延前の特徴を生成し、より詳細な画像の復元を支援する。
さらに、スライドウィンドウ戦略を適用することで、推論効率を高めるために、特殊なTransformerブロックが組み込まれている。
この新しいアプローチの採用により、イテレーション毎にMAC(Multiply-Accumulate Operations)が大幅に削減され、メモリ要件が大幅に削減された。
現在のGRL法と比較して、Swintormerモデルはメモリ容量に依存する計算負荷を140.35 GMACsから8.02 GMACsに大幅に削減し、デフォーカスのデフォーカスを27.04 dBから27.07 dBに改善した。
この革新的な技術は、メモリ制限されたデバイス上での高解像度画像の処理を可能にし、潜在的なアプリケーションシナリオを大幅に広げる。
この記事では、それぞれのネットワークモジュールが最終的なパフォーマンスにどのように貢献するかを網羅的に調査するアブレーションスタディをまとめて紹介する。ソースコードとモデルは、以下のWebサイトで利用可能になる。
関連論文リスト
- Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。
演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。
本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
論文 参考訳（メタデータ） (2024-01-23T10:27:38Z) - Fixed Point Diffusion Models [13.035518953879539]
FPDM(Fixed Point Diffusion Model)は、FPDM(Fixed Point Diffusion Model)の概念を拡散に基づく生成モデルに組み込んだ画像生成手法である。
提案手法では,拡散モデルのデノナイズネットワークに暗黙の固定点解法層を埋め込み,拡散過程を密接な関係のある固定点問題列に変換する。
我々は、ImageNet、FFHQ、CelebA-HQ、LSUN-Churchの最先端モデルを用いて実験を行い、性能と効率を大幅に改善した。
論文 参考訳（メタデータ） (2024-01-16T18:55:54Z) - Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳（メタデータ） (2024-01-11T03:08:00Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:37:47Z) - DeepCache: Accelerating Diffusion Models for Free [65.02607075556742]
DeepCacheは、モデルアーキテクチャの観点から拡散モデルを加速するトレーニング不要のパラダイムである。
DeepCacheは拡散モデルのシーケンシャルなデノナイジングステップで観測される時間的冗長性に乗じている。
同じスループットで、DeepCacheはDDIMやPLMSで、事実上同等または極端に改善された結果を達成する。
論文 参考訳（メタデータ） (2023-12-01T17:01:06Z) - HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。
本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。
我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-09-11T05:17:55Z) - MOFA: A Model Simplification Roadmap for Image Restoration on Mobile
Devices [17.54747506334433]
本稿では,展開前の画像復元モデルをさらに高速化するロードマップを提案する。
提案手法は,PSNRとSSIMを増大させながら,ランタイムを最大13%削減し,パラメータ数を最大23%削減する。
論文 参考訳（メタデータ） (2023-08-24T01:29:15Z) - Resolution Enhancement Processing on Low Quality Images Using Swin
Transformer Based on Interval Dense Connection Strategy [1.5705307898493193]
Transformer-based method has demonstrated great performance for image super- resolution in the method based on the convolutional neural network (CNNs)
この研究は、新しく設計されたアルゴリズムに従って異なるブロックを接続するインターバルDense Connection Strategyを提案する。
本研究は、リアルタイムアプリケーションにおいて、低画質画像上でオブジェクト検出とリアルタイム画像の超解像を行うために、You Only Look Once(YOLOv8)モデルの最後のバージョンと提案モデルを適用した。
論文 参考訳（メタデータ） (2023-03-16T10:01:12Z) - Activating More Pixels in Image Super-Resolution Transformer [53.87533738125943]
トランスフォーマーベースの手法は、画像超解像のような低レベルの視覚タスクにおいて顕著な性能を示している。
本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。
提案手法は1dB以上で最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2022-05-09T17:36:58Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳（メタデータ） (2021-11-22T11:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。