論文の概要: Degradation-Aware Self-Attention Based Transformer for Blind Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2310.04180v1
• Date: Fri, 6 Oct 2023 11:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 18:53:32.584380
• Title: Degradation-Aware Self-Attention Based Transformer for Blind Image Super-Resolution
• Title（参考訳）: ブラインド画像の高分解能化のための劣化認識自己着脱型変圧器
• Authors: Qingguo Liu, Pan Gao, Kang Han, Ningzhong Liu, Wei Xiang
• Abstract要約: 本稿では,入力画像の劣化表現を未知の雑音で学習する自己認識型トランスフォーマモデルを提案する。 提案したモデルを,テスト用の大規模ベンチマークデータセットに適用し,最先端のパフォーマンスを実現する。 提案手法では,Urban100データセットのPSNRが32.43dB,DASRより0.94dB,KDSRより26.62dB,KDSRより0.26dB向上した。
• 参考スコア（独自算出の注目度）: 23.336576280389608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared to CNN-based methods, Transformer-based methods achieve impressive image restoration outcomes due to their abilities to model remote dependencies. However, how to apply Transformer-based methods to the field of blind super-resolution (SR) and further make an SR network adaptive to degradation information is still an open problem. In this paper, we propose a new degradation-aware self-attention-based Transformer model, where we incorporate contrastive learning into the Transformer network for learning the degradation representations of input images with unknown noise. In particular, we integrate both CNN and Transformer components into the SR network, where we first use the CNN modulated by the degradation information to extract local features, and then employ the degradation-aware Transformer to extract global semantic features. We apply our proposed model to several popular large-scale benchmark datasets for testing, and achieve the state-of-the-art performance compared to existing methods. In particular, our method yields a PSNR of 32.43 dB on the Urban100 dataset at $\times$2 scale, 0.94 dB higher than DASR, and 26.62 dB on the Urban100 dataset at $\times$4 scale, 0.26 dB improvement over KDSR, setting a new benchmark in this area. Source code is available at: https://github.com/I2-Multimedia-Lab/DSAT/tree/main.
• Abstract（参考訳）: CNNベースの手法と比較して、Transformerベースの手法は、リモート依存関係をモデル化できるため、印象的な画像復元結果が得られる。 しかし,変圧器を用いた手法をブラインド・スーパーレゾリューション(sr)の分野に適用し,さらにsrネットワークを劣化情報に適応させる方法はいまだに未解決の問題である。 本稿では,入力画像の劣化表現を未知ノイズで学習するために,コントラスト学習をトランスネットワークに組み込む,劣化認識型自己対応型変圧器モデルを提案する。 特に、我々はCNNとTransformerの両方のコンポーネントをSRネットワークに統合し、まず、分解情報によって変調されたCNNを用いて局所的な特徴を抽出し、次いで分解認識変換器を用いてグローバルな意味的特徴を抽出する。 提案したモデルを,テスト用の大規模ベンチマークデータセットに適用し,既存手法と比較して最先端のパフォーマンスを実現する。 特に,Urban100データセットのPSNRは$\times$2スケールで32.43dB,DASRより0.94dB高く,Urban100データセットの$\times$4スケールで26.62dB,KDSRより0.26dB向上した。 ソースコードはhttps://github.com/i2-multimedia-lab/dsat/tree/main。

関連論文リスト

• DRCT: Saving Image Super-resolution away from Information Bottleneck [7.765333471208582]
  低レベルのビジョンタスクに対するビジョントランスフォーマーベースのアプローチは、広く成功している。 空間情報の損失を軽減するため,Dense-Residual-Connected Transformer (DRCT)を提案する。 提案手法は,ベンチマークデータセットの最先端手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-03-31T15:34:45Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• Resolution Enhancement Processing on Low Quality Images Using Swin Transformer Based on Interval Dense Connection Strategy [1.5705307898493193]
  Transformer-based method has demonstrated great performance for image super- resolution in the method based on the convolutional neural network (CNNs) この研究は、新しく設計されたアルゴリズムに従って異なるブロックを接続するインターバルDense Connection Strategyを提案する。 本研究は、リアルタイムアプリケーションにおいて、低画質画像上でオブジェクト検出とリアルタイム画像の超解像を行うために、You Only Look Once(YOLOv8)モデルの最後のバージョンと提案モデルを適用した。
  論文  参考訳（メタデータ） (2023-03-16T10:01:12Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Lightweight Bimodal Network for Single-Image Super-Resolution via Symmetric CNN and Recursive Transformer [27.51790638626891]
  シングルイメージ・スーパーレゾリューション(SISR)は、ディープラーニングの開発において大きなブレークスルーを達成している。 そこで本研究では,SISRのための軽量バイモーダルネットワーク(LBNet)を提案する。 具体的には,局所特徴抽出と粗い画像再構成に有効なシンメトリCNNを設計する。
  論文  参考訳（メタデータ） (2022-04-28T04:43:22Z)
• Transformer-Guided Convolutional Neural Network for Cross-View Geolocalization [20.435023745201878]
  本稿ではトランスフォーマー誘導型畳み込みニューラルネットワーク(TransGCNN)アーキテクチャを提案する。 我々のTransGCNNは、入力画像からCNNのバックボーン抽出特徴マップと、グローバルコンテキストをモデル化するTransformerヘッドで構成される。 CVUSAとCVACT_valでそれぞれ94.12%,84.92%の精度を達成した。
  論文  参考訳（メタデータ） (2022-04-21T08:46:41Z)
• GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
  我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。 自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。 元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
  論文  参考訳（メタデータ） (2022-03-22T17:06:07Z)
• Towards End-to-End Image Compression and Analysis with Transformers [99.50111380056043]
  本稿では,クラウドベースの画像分類アプリケーションを対象として,トランスフォーマーを用いたエンドツーエンドの画像圧縮解析モデルを提案する。 我々は、圧縮された特徴から画像分類を行うためにビジョントランスフォーマー(ViT)モデルを再設計し、トランスフォーマーからの長期情報を用いて画像圧縮を容易にすることを目指している。 画像圧縮と分類作業の両方において,提案モデルの有効性を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2021-12-17T03:28:14Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• Deep Neural Networks are Surprisingly Reversible: A Baseline for Zero-Shot Inversion [90.65667807498086]
  本稿では、内部表現のみを与えられたトレーニングモデルへの入力を復元するゼロショット直接モデル逆変換フレームワークを提案する。 ImageNetの最新の分類モデルでは、20層以上の表現から元の224x224px画像を近似的に復元できることを実証的に示す。
  論文  参考訳（メタデータ） (2021-07-13T18:01:43Z)
• Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
  我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。 そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。 提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
  論文  参考訳（メタデータ） (2021-03-30T16:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。