論文の概要: SRTransGAN: Image Super-Resolution using Transformer based Generative Adversarial Network

• arxiv url: http://arxiv.org/abs/2312.01999v1
• Date: Mon, 4 Dec 2023 16:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 14:39:41.732137
• Title: SRTransGAN: Image Super-Resolution using Transformer based Generative Adversarial Network
• Title（参考訳）: SRTransGAN: Transformer を用いた生成逆数ネットワークを用いた画像超解法
• Authors: Neeraj Baghel, Shiv Ram Dubey, Satish Kumar Singh
• Abstract要約: トランスをベースとしたエンコーダデコーダネットワークを2倍画像と4倍画像を生成するジェネレータとして提案する。 提案したSRTransGANは、PSNRとSSIMのスコアの平均で、既存の手法よりも4.38%優れていた。
• 参考スコア（独自算出の注目度）: 16.243363392717434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image super-resolution aims to synthesize high-resolution image from a low-resolution image. It is an active area to overcome the resolution limitations in several applications like low-resolution object-recognition, medical image enhancement, etc. The generative adversarial network (GAN) based methods have been the state-of-the-art for image super-resolution by utilizing the convolutional neural networks (CNNs) based generator and discriminator networks. However, the CNNs are not able to exploit the global information very effectively in contrast to the transformers, which are the recent breakthrough in deep learning by exploiting the self-attention mechanism. Motivated from the success of transformers in language and vision applications, we propose a SRTransGAN for image super-resolution using transformer based GAN. Specifically, we propose a novel transformer-based encoder-decoder network as a generator to generate 2x images and 4x images. We design the discriminator network using vision transformer which uses the image as sequence of patches and hence useful for binary classification between synthesized and real high-resolution images. The proposed SRTransGAN outperforms the existing methods by 4.38 % on an average of PSNR and SSIM scores. We also analyze the saliency map to understand the learning ability of the proposed method.
• Abstract（参考訳）: 画像超解像は低解像度画像から高解像度画像を合成することを目的としている。 低解像度オブジェクト認識や医用画像強調など、いくつかのアプリケーションで解決限界を克服する活動的な領域である。 GANベースの手法は、畳み込みニューラルネットワーク(CNN)ベースのジェネレータと識別器ネットワークを利用して、画像超解像のための最先端技術である。 しかし、cnnは、自己着脱機構を活用し、ディープラーニングの最近のブレークスルーであるトランスフォーマーとは対照的に、グローバル情報を非常に効果的に活用できない。 言語および視覚応用におけるトランスフォーマーの成功から、トランスフォーマーベースGANを用いた画像超解像のためのSRTransGANを提案する。 具体的には、2x画像と4x画像を生成するジェネレータとしてトランスフォーマーベースのエンコーダデコーダネットワークを提案する。 イメージをパッチのシーケンスとして用い,合成画像と実高分解能画像の2値分類に有用な視覚トランスフォーマを用いて識別器ネットワークを設計する。 提案したSRTransGANは、PSNRとSSIMのスコアの平均で、既存の手法よりも4.38%優れていた。 また,提案手法の学習能力を理解するために,saliency mapの解析を行った。

関連論文リスト

• CWT-Net: Super-resolution of Histopathology Images Using a Cross-scale Wavelet-based Transformer [15.930878163092983]
  超解像(SR)は低解像度画像の品質を高めることを目的としており、医用画像に広く応用されている。 我々は,画像ウェーブレット変換とトランスフォーマーアーキテクチャを利用した,CWT-Netと呼ばれる新しいネットワークを提案する。 本モデルは, 性能評価と可視化評価において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-11T08:26:28Z)
• PTSR: Patch Translator for Image Super-Resolution [16.243363392717434]
  画像超解像(PTSR)のためのパッチトランスレータを提案し,この問題に対処する。 提案するPTSRは、畳み込み動作のないトランスフォーマーベースGANネットワークである。 マルチヘッドアテンションを利用した改良パッチを再生するための新しいパッチトランスレータモジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-20T01:45:00Z)
• Transformer-based Generative Adversarial Networks in Computer Vision: A Comprehensive Survey [26.114550071165628]
  Generative Adversarial Networks (GAN) は、与えられたデータセット内の画像を合成するのに非常に成功した。 最近の研究は、画像/ビデオ合成において、GANフレームワークのトランスフォーマーを活用しようと試みている。 本稿では,コンピュータビジョン応用のためのTransformerネットワークを利用したGANの開発と進歩に関する総合的な調査を行う。
  論文  参考訳（メタデータ） (2023-02-17T01:13:58Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• Transformer-based SAR Image Despeckling [53.99620005035804]
  本稿では,SAR画像復号化のためのトランスフォーマーネットワークを提案する。 提案する非特定ネットワークは、トランスフォーマーベースのエンコーダにより、異なる画像領域間のグローバルな依存関係を学習することができる。 実験により,提案手法は従来型および畳み込み型ニューラルネットワークに基づく解法よりも大幅に改善されていることが示された。
  論文  参考訳（メタデータ） (2022-01-23T20:09:01Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
  高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。 我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
  論文  参考訳（メタデータ） (2021-10-25T17:01:29Z)
• Fusformer: A Transformer-based Fusion Approach for Hyperspectral Image Super-resolution [9.022005574190182]
  低分解能ハイパースペクトル像と高分解能マルチスペクトル像を融合させるトランスフォーマーに基づくネットワークを設計する。 LR-HSIは主スペクトル構造を持つため、ネットワークは空間的詳細推定に重点を置いている。 様々な実験と品質指標は、他の最先端手法と比較して、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2021-09-05T14:00:34Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。