論文の概要: SANDFORMER: CNN and Transformer under Gated Fusion for Sand Dust Image Restoration

• arxiv url: http://arxiv.org/abs/2303.04365v1
• Date: Wed, 8 Mar 2023 04:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 15:10:04.437652
• Title: SANDFORMER: CNN and Transformer under Gated Fusion for Sand Dust Image Restoration
• Title（参考訳）: sandformer:cnnとtransformerのゲート融合による砂塵画像復元
• Authors: Jun Shi, Bingcai Wei, Gang Zhou, Liye Zhang
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は画像復元に大きく進歩している。 近年のビジョントランスと自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 砂画像復元作業に有効なハイブリッドアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 4.68978180327837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Convolutional Neural Networks (CNN) have made good progress in image restoration, the intrinsic equivalence and locality of convolutions still constrain further improvements in image quality. Recent vision transformer and self-attention have achieved promising results on various computer vision tasks. However, directly utilizing Transformer for image restoration is a challenging task. In this paper, we introduce an effective hybrid architecture for sand image restoration tasks, which leverages local features from CNN and long-range dependencies captured by transformer to improve the results further. We propose an efficient hybrid structure for sand dust image restoration to solve the feature inconsistency issue between Transformer and CNN. The framework complements each representation by modulating features from the CNN-based and Transformer-based branches rather than simply adding or concatenating features. Experiments demonstrate that SandFormer achieves significant performance improvements in synthetic and real dust scenes compared to previous sand image restoration methods.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は画像復元において大きな進歩を遂げているが、畳み込みの本質的等価性と局所性は依然として画像品質のさらなる改善を妨げている。 近年のビジョントランスと自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 しかし,画像復元にTransformerを直接活用することは難しい課題である。 本稿では,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を利用して,砂画像復元作業に有効なハイブリッドアーキテクチャを提案する。 トランスフォーマーとcnnの特徴的不整合問題を解決するため,砂塵画像復元のための効率的なハイブリッド構造を提案する。 このフレームワークは、単に機能を追加したり結合したりするのではなく、cnnベースのブランチやtransformerベースのブランチの機能を調整することで、各表現を補完する。 実験により,SandFormerは従来の砂画像復元法と比較して,合成および実塵のシーンにおいて顕著な性能向上を実現していることが示された。

関連論文リスト

• Transformer-based Image and Video Inpainting: Current Challenges and Future Directions [5.2088618044533215]
  塗り絵は、写真復元、ビデオ編集、医用画像撮影など、様々な応用に有効なソリューションである。 CNNとGAN(Generative Adversarial Network)は、インペイントタスクを大幅に強化した。 ビジュアルトランスフォーマーが利用され、画像やビデオのインペイントにいくつかの改善が加えられている。
  論文  参考訳（メタデータ） (2024-06-28T20:42:36Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
  トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-09-11T05:17:55Z)
• Image Reconstruction using Enhanced Vision Transformer [0.08594140167290097]
  画像のデノイング,デブロアリング,インペイントといったタスクに使用できる新しい画像再構成フレームワークを提案する。 このプロジェクトで提案されるモデルは、2次元画像を入力として取り込んで埋め込みを出力するビジョントランスフォーマー(ViT)に基づいている。 モデル再構築機能を改善するために,フレームワークに4つの最適化手法を組み込んだ。
  論文  参考訳（メタデータ） (2023-07-11T02:14:18Z)
• GridFormer: Residual Dense Transformer with Grid Structure for Image Restoration in Adverse Weather Conditions [97.45751035126548]
  我々はGridFormerと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。 GridFormerは、悪天候下でのイメージ復元のバックボーンとして機能する。 このフレームワークは5つの多様な画像復元タスクに対して最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-05-29T03:03:53Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion [37.993611194758195]
  画像から意味情報を抽出する問題に対処するため,Patch Pyramid Transformer(PPT)を提案する。 実験により, 現状の核融合法に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2021-07-29T13:57:45Z)
• Diverse Image Inpainting with Bidirectional and Autoregressive Transformers [55.21000775547243]
  新規な双方向自己回帰トランス(BAT)を用いた画像インペインティングフレームワークBAT-Fillを提案する。 BAT-Fillは変換器とCNNの利点を2段階的に継承し、変換器の注意の二次的複雑さに制約されることなく高解像度のコンテンツを生成する。
  論文  参考訳（メタデータ） (2021-04-26T03:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。