論文の概要: Transformer-based Generative Adversarial Networks in Computer Vision: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2302.08641v1
• Date: Fri, 17 Feb 2023 01:13:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 16:16:00.771273
• Title: Transformer-based Generative Adversarial Networks in Computer Vision: A Comprehensive Survey
• Title（参考訳）: コンピュータビジョンにおけるトランスフォーマーに基づくジェネレーティブ・アドバイサル・ネットワーク:総合的調査
• Authors: Shiv Ram Dubey, Satish Kumar Singh
• Abstract要約: Generative Adversarial Networks (GAN) は、与えられたデータセット内の画像を合成するのに非常に成功した。 最近の研究は、画像/ビデオ合成において、GANフレームワークのトランスフォーマーを活用しようと試みている。 本稿では,コンピュータビジョン応用のためのTransformerネットワークを利用したGANの開発と進歩に関する総合的な調査を行う。
• 参考スコア（独自算出の注目度）: 26.114550071165628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) have been very successful for synthesizing the images in a given dataset. The artificially generated images by GANs are very realistic. The GANs have shown potential usability in several computer vision applications, including image generation, image-to-image translation, video synthesis, and others. Conventionally, the generator network is the backbone of GANs, which generates the samples and the discriminator network is used to facilitate the training of the generator network. The discriminator network is usually a Convolutional Neural Network (CNN). Whereas, the generator network is usually either an Up-CNN for image generation or an Encoder-Decoder network for image-to-image translation. The convolution-based networks exploit the local relationship in a layer, which requires the deep networks to extract the abstract features. Hence, CNNs suffer to exploit the global relationship in the feature space. However, recently developed Transformer networks are able to exploit the global relationship at every layer. The Transformer networks have shown tremendous performance improvement for several problems in computer vision. Motivated from the success of Transformer networks and GANs, recent works have tried to exploit the Transformers in GAN framework for the image/video synthesis. This paper presents a comprehensive survey on the developments and advancements in GANs utilizing the Transformer networks for computer vision applications. The performance comparison for several applications on benchmark datasets is also performed and analyzed. The conducted survey will be very useful to deep learning and computer vision community to understand the research trends \& gaps related with Transformer-based GANs and to develop the advanced GAN architectures by exploiting the global and local relationships for different applications.
• Abstract（参考訳）: Generative Adversarial Networks (GAN) は、与えられたデータセット内の画像を合成するのに非常に成功した。 ganによる人工的な画像は非常にリアルです。 GANは、画像生成、画像間変換、ビデオ合成など、いくつかのコンピュータビジョンアプリケーションで潜在的なユーザビリティを示している。 通常、ジェネレータネットワークはgansのバックボーンであり、サンプルを生成し、判別器ネットワークはジェネレータネットワークのトレーニングを容易にするために使用される。 識別器ネットワークは通常、畳み込みニューラルネットワーク(CNN)である。 一方、ジェネレータネットワークは通常、画像生成用のUp-CNNまたは画像から画像への変換のためのEncoder-Decoderネットワークである。 畳み込みベースのネットワークは層内の局所的関係を利用しており、深いネットワークが抽象的な特徴を抽出する必要がある。 そのため、CNNは機能領域におけるグローバルな関係を悪用する。 しかし、最近開発されたトランスフォーマーネットワークは、すべての層でグローバルな関係を活用できる。 Transformerネットワークは、コンピュータビジョンにおけるいくつかの問題に対して、大幅な性能向上を示している。 トランスフォーマーネットワークとGANの成功から動機づけられた最近の研究は、画像/ビデオ合成において、GANフレームワークにおけるトランスフォーマーの利用を試みた。 本稿では,コンピュータビジョンアプリケーションにおけるTransformerネットワークを利用したGANの開発と進歩に関する総合的な調査を行う。 ベンチマークデータセット上のいくつかのアプリケーションのパフォーマンス比較も実行され、分析される。 この調査は、トランスフォーマーベースのGANに関する研究動向とギャップを理解するために、ディープラーニングとコンピュータビジョンコミュニティにとって非常に有用であり、異なるアプリケーションに対するグローバルおよびローカルの関係を利用して、先進的なGANアーキテクチャを開発するのに役立ちます。

関連論文リスト

• SRTransGAN: Image Super-Resolution using Transformer based Generative Adversarial Network [16.243363392717434]
  トランスをベースとしたエンコーダデコーダネットワークを2倍画像と4倍画像を生成するジェネレータとして提案する。 提案したSRTransGANは、PSNRとSSIMのスコアの平均で、既存の手法よりも4.38%優れていた。
  論文  参考訳（メタデータ） (2023-12-04T16:22:39Z)
• NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning [25.197394237526865]
  本稿では,トランスフォーマーに基づく汎用ニューラルネットワーク表現学習モデル NAR-Former V2 を提案する。 具体的には、ネットワークをグラフとして取り、簡単なトークン化器を設計して、ネットワークをシーケンスにエンコードする。 我々は,GNNの帰納的表現学習能力をTransformerに組み込んだ。
  論文  参考訳（メタデータ） (2023-06-19T09:11:04Z)
• Distilling Representations from GAN Generator via Squeeze and Span [55.76208869775715]
  本稿では,GANジェネレータから知識を抽出し,その表現を抽出する手法を提案する。 我々は,合成ドメインの蒸留された表現を実領域に分散し,実際のトレーニングデータを用いてGANのモード崩壊を緩和する。
  論文  参考訳（メタデータ） (2022-11-06T01:10:28Z)
• Transformer-based SAR Image Despeckling [53.99620005035804]
  本稿では,SAR画像復号化のためのトランスフォーマーネットワークを提案する。 提案する非特定ネットワークは、トランスフォーマーベースのエンコーダにより、異なる画像領域間のグローバルな依存関係を学習することができる。 実験により,提案手法は従来型および畳み込み型ニューラルネットワークに基づく解法よりも大幅に改善されていることが示された。
  論文  参考訳（メタデータ） (2022-01-23T20:09:01Z)
• The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
  高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。 我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
  論文  参考訳（メタデータ） (2021-10-25T17:01:29Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)
• Generative Adversarial Networks (GANs) in Networking: A Comprehensive Survey & Evaluation [5.196831100533835]
  GAN(Generative Adversarial Networks)は、広く研究された機械学習サブフィールドである。 GANは一般的に合成画像の生成や変換に用いられる。 本稿では、この機械学習の分岐が、コンピュータと通信ネットワークの複数の側面にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-05-10T08:28:36Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)
• A U-Net Based Discriminator for Generative Adversarial Networks [86.67102929147592]
  GAN(Generative Adversarial Network)のための代替U-Netベースの識別器アーキテクチャを提案する。 提案アーキテクチャにより,合成画像のグローバルコヒーレンスを維持しつつ,画素単位の詳細なフィードバックを生成元に提供することができる。 斬新な判別器は、標準分布と画像品質の指標の観点から、最先端の技術を向上する。
  論文  参考訳（メタデータ） (2020-02-28T11:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。