論文の概要: Dual-former: Hybrid Self-attention Transformer for Efficient Image Restoration

• arxiv url: http://arxiv.org/abs/2210.01069v1
• Date: Mon, 3 Oct 2022 16:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:00:04.330779
• Title: Dual-former: Hybrid Self-attention Transformer for Efficient Image Restoration
• Title（参考訳）: Dual-former:効率的な画像復元のためのハイブリッドセルフアテンショントランス
• Authors: Sixiang Chen, Tian Ye, Yun Liu, Erkang Chen
• Abstract要約: 本稿では,自己アテンションモジュールの強力なグローバルモデリング能力と,全体のアーキテクチャにおける畳み込みの局所モデリング能力を組み合わせたDual-formerを提案する。 実験により、Dual-formerはIndoorデータセットの最先端MAXIM法よりも1.91dBのゲインを達成していることが示された。 単一画像のデライニングでは、わずか21.5%のGFLOPを持つ5つのデータセットの平均結果に対して、SOTA法を0.1dB PSNRで上回っている。
• 参考スコア（独自算出の注目度）: 6.611849560359801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, image restoration transformers have achieved comparable performance with previous state-of-the-art CNNs. However, how to efficiently leverage such architectures remains an open problem. In this work, we present Dual-former whose critical insight is to combine the powerful global modeling ability of self-attention modules and the local modeling ability of convolutions in an overall architecture. With convolution-based Local Feature Extraction modules equipped in the encoder and the decoder, we only adopt a novel Hybrid Transformer Block in the latent layer to model the long-distance dependence in spatial dimensions and handle the uneven distribution between channels. Such a design eliminates the substantial computational complexity in previous image restoration transformers and achieves superior performance on multiple image restoration tasks. Experiments demonstrate that Dual-former achieves a 1.91dB gain over the state-of-the-art MAXIM method on the Indoor dataset for single image dehazing while consuming only 4.2% GFLOPs as MAXIM. For single image deraining, it exceeds the SOTA method by 0.1dB PSNR on the average results of five datasets with only 21.5% GFLOPs. Dual-former also substantially surpasses the latest desnowing method on various datasets, with fewer parameters.
• Abstract（参考訳）: 近年、画像復元トランスフォーマーは、従来の最先端cnnと同等の性能を達成している。 しかし、そのようなアーキテクチャを効率的に活用する方法は未解決の問題である。 本稿では,自己注意型モジュールの強力なグローバルモデリング能力と,全体のアーキテクチャにおける畳み込みの局所モデリング能力を組み合わせたDual-formerを提案する。 エンコーダとデコーダを備えた畳み込み型局所特徴抽出モジュールでは,空間空間の長距離依存性をモデル化し,チャネル間の不均一分布を処理するために,遅延層にハイブリットトランスフォーマブロックを導入する。 このような設計は、以前の画像復元変換器の計算量を大幅に減らし、複数の画像復元タスクにおいて優れた性能を実現する。 実験により、Dual-formerは、MAXIMとしてわずか4.2%のGFLOPを消費しながら、シングルイメージのデハジングのためのIndoorデータセット上で、最先端のMAXIM法よりも1.91dBのアップを達成した。 単一画像デラリニングでは、21.5%のGFLOPを持つ5つのデータセットの平均結果に対して、SOTA法を0.1dBPSNRで上回っている。 dual-formerはまた、パラメータの少ない様々なデータセットで最新のdesnowingメソッドを大幅に上回っている。

関連論文リスト

• Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models [26.926712014346432]
  本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。 モデル構造では、二項化に最適化されたUNetアーキテクチャを設計する。 我々は,一貫した次元を維持するために,一貫した画素ダウンサンプル (CP-Down) と一貫したピクセルアップサンプル (CP-Up) を提案する。 BI-DiffSRが既存のバイナライゼーション法より優れていることを示す総合実験を行った。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• Dual-Path Multi-Scale Transformer for High-Quality Image Deraining [1.7104836047593197]
  高品質な画像再構成のためのデュアルパスマルチスケールトランス (DPMformer) を提案する。 この方法は、2つの異なるマルチスケールアプローチからのバックボーンパスと2つの分岐パスから構成される。 提案手法は,他の最先端手法と比較して有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-05-28T12:31:23Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
  トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-09-11T05:17:55Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• HUMUS-Net: Hybrid unrolled multi-scale network architecture for accelerated MRI reconstruction [38.0542877099235]
  HUMUS-Netは、暗黙のバイアスと畳み込みの効率を、無ロールでマルチスケールのネットワークにおけるTransformerブロックのパワーと組み合わせたハイブリッドアーキテクチャである。 我々のネットワークは、最も広く公開されているMRIデータセットである高速MRIデータセット上で、新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-03-15T19:26:29Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Improved Transformer for High-Resolution GANs [69.42469272015481]
  この課題に対処するために、Transformerに2つの重要な要素を紹介します。 実験で提案したHiTは、条件のないImageNetの31.87と2.95のFIDスコアをそれぞれ128×128$とFFHQの256×256$で達成していることを示す。
  論文  参考訳（メタデータ） (2021-06-14T17:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。