論文の概要: U2-Former: A Nested U-shaped Transformer for Image Restoration

• arxiv url: http://arxiv.org/abs/2112.02279v2
• Date: Wed, 8 Dec 2021 12:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 11:56:57.728648
• Title: U2-Former: A Nested U-shaped Transformer for Image Restoration
• Title（参考訳）: U2-Former:画像復元用のネスト型U字型トランス
• Authors: Haobo Ji, Xin Feng, Wenjie Pei, Jinxing Li, Guangming Lu
• Abstract要約: U2-Formerと呼ばれる画像復元のための深く効果的なトランスフォーマーネットワークを提案する。 コア操作としてTransformerを使用して、ディープエンコーディングとデコード空間でイメージ復元を行うことができる。
• 参考スコア（独自算出の注目度）: 30.187257111046556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Transformer has achieved remarkable performance in various high-level vision tasks, it is still challenging to exploit the full potential of Transformer in image restoration. The crux lies in the limited depth of applying Transformer in the typical encoder-decoder framework for image restoration, resulting from heavy self-attention computation load and inefficient communications across different depth (scales) of layers. In this paper, we present a deep and effective Transformer-based network for image restoration, termed as U2-Former, which is able to employ Transformer as the core operation to perform image restoration in a deep encoding and decoding space. Specifically, it leverages the nested U-shaped structure to facilitate the interactions across different layers with different scales of feature maps. Furthermore, we optimize the computational efficiency for the basic Transformer block by introducing a feature-filtering mechanism to compress the token representation. Apart from the typical supervision ways for image restoration, our U2-Former also performs contrastive learning in multiple aspects to further decouple the noise component from the background image. Extensive experiments on various image restoration tasks, including reflection removal, rain streak removal and dehazing respectively, demonstrate the effectiveness of the proposed U2-Former.
• Abstract（参考訳）: Transformerは様々なハイレベルな視覚タスクにおいて顕著なパフォーマンスを実現しているが、画像復元におけるTransformerの潜在能力を最大限活用することは依然として困難である。 このクルックスは、イメージ復元のための典型的なエンコーダデコーダフレームワークにTransformerを適用するという限られた深さにある。 本稿では,トランスフォーマーをコア操作として利用し,深層符号化・復号化空間で画像復元を行うことのできる,深層かつ効率的なトランスフォーマーベースネットワークであるU2-Formerを提案する。 具体的には、ネストしたU字型構造を利用して、異なるサイズの特徴写像を持つ異なる層間の相互作用を促進する。 さらに,トークン表現を圧縮する特徴フィルタリング機構を導入することにより,基本トランスフォーマーブロックの計算効率を最適化する。 画像復元のための典型的な監督方法とは別に、u2-formerは複数の側面でコントラスト学習を行い、ノイズ成分を背景画像からさらに分離する。 反射除去, 雨ストレーク除去, デハジングなど, 様々な画像復元作業に関する広範囲な実験により, 提案するu2-formerの有効性が示された。

関連論文リスト

• Joint multi-dimensional dynamic attention and transformer for general image restoration [14.987034136856463]
  屋外のイメージは 雨や迷路、騒音などによって 深刻な劣化に苦しむことが多い 現在の画像復元法は、効率を保ちながら複雑な劣化を扱うのに苦労している。 本稿では,多次元動的注意と自己注意を組み合わせた新しい画像復元アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-12T15:58:09Z)
• Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration [91.65248635837145]
  Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。 本稿では,UDC 画像復元に Vision Transformer を用いることで,大量の冗長情報やノイズを大域的注目度で検出する。 UDC劣化画像から高品質な画像を復元するためのガイドスパース変換器(SGSFormer)を提案する。
  論文  参考訳（メタデータ） (2024-03-09T13:11:59Z)
• GridFormer: Residual Dense Transformer with Grid Structure for Image Restoration in Adverse Weather Conditions [97.45751035126548]
  我々はGridFormerと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。 GridFormerは、悪天候下でのイメージ復元のバックボーンとして機能する。 このフレームワークは5つの多様な画像復元タスクに対して最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-05-29T03:03:53Z)
• Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
  我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。 得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。 特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
  論文  参考訳（メタデータ） (2023-03-24T14:14:25Z)
• Towards End-to-End Image Compression and Analysis with Transformers [99.50111380056043]
  本稿では,クラウドベースの画像分類アプリケーションを対象として,トランスフォーマーを用いたエンドツーエンドの画像圧縮解析モデルを提案する。 我々は、圧縮された特徴から画像分類を行うためにビジョントランスフォーマー(ViT)モデルを再設計し、トランスフォーマーからの長期情報を用いて画像圧縮を容易にすることを目指している。 画像圧縮と分類作業の両方において,提案モデルの有効性を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2021-12-17T03:28:14Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion [37.993611194758195]
  画像から意味情報を抽出する問題に対処するため,Patch Pyramid Transformer(PPT)を提案する。 実験により, 現状の核融合法に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2021-07-29T13:57:45Z)
• Uformer: A General U-Shaped Transformer for Image Restoration [47.60420806106756]
  画像復元のためにTransformerブロックを用いた階層型エンコーダデコーダネットワークを構築した。 いくつかの画像復元タスクの実験は、Uformerの優位性を示している。
  論文  参考訳（メタデータ） (2021-06-06T12:33:22Z)
• ResT: An Efficient Transformer for Visual Recognition [5.807423409327807]
  本稿では、画像認識のための汎用バックボーンとして機能する、ResTと呼ばれる効率的なマルチスケール視覚変換器を提案する。 提案したResTは、最近の最先端のバックボーンよりも大きなマージンで、ResTの強力なバックボーンとしての可能性を示している。
  論文  参考訳（メタデータ） (2021-05-28T08:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。