論文の概要: Magic ELF: Image Deraining Meets Association Learning and Transformer

• arxiv url: http://arxiv.org/abs/2207.10455v1
• Date: Thu, 21 Jul 2022 12:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 13:13:05.759608
• Title: Magic ELF: Image Deraining Meets Association Learning and Transformer
• Title（参考訳）: Magic ELF:アソシエーション学習とトランスフォーマーとの出会い
• Authors: Kui Jiang, Zhongyuan Wang, Chen Chen, Zheng Wang, Laizhong Cui, Chia-Wen Lin
• Abstract要約: 本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
• 参考スコア（独自算出の注目度）: 63.761812092934576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural network (CNN) and Transformer have achieved great success in multimedia applications. However, little effort has been made to effectively and efficiently harmonize these two architectures to satisfy image deraining. This paper aims to unify these two architectures to take advantage of their learning merits for image deraining. In particular, the local connectivity and translation equivariance of CNN and the global aggregation ability of self-attention (SA) in Transformer are fully exploited for specific local context and global structure representations. Based on the observation that rain distribution reveals the degradation location and degree, we introduce degradation prior to help background recovery and accordingly present the association refinement deraining scheme. A novel multi-input attention module (MAM) is proposed to associate rain perturbation removal and background recovery. Moreover, we equip our model with effective depth-wise separable convolutions to learn the specific feature representations and trade off computational complexity. Extensive experiments show that our proposed method (dubbed as ELF) outperforms the state-of-the-art approach (MPRNet) by 0.25 dB on average, but only accounts for 11.7\% and 42.1\% of its computational cost and parameters. The source code is available at https://github.com/kuijiang94/Magic-ELF.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)とTransformerは、マルチメディアアプリケーションで大きな成功を収めた。 しかし,これら2つのアーキテクチャを効果的かつ効率的に調和させ,画像のデレーニングを満足させる努力はほとんど行われていない。 本稿では,これら2つのアーキテクチャを一体化し,イメージレーダリングの学習メリットを生かすことを目的としている。 特に、CNNの局所接続性と翻訳の等価性と、トランスフォーマーにおける自己注意(SA)のグローバルアグリゲーション能力は、特定のローカルコンテキストとグローバル構造表現に対して完全に活用される。 降雨分布が劣化位置と度合いを明らかにするという観測に基づいて, 背景の回復に先立って劣化を導入し, そして, 本手法を提示する。 雨の摂動除去と背景回復を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 さらに,本モデルに効果的な奥行き分離可能な畳み込みを適用し,特徴表現を学習し,計算複雑性をトレードオフする。 実験の結果,提案手法(ELF)は平均0.25dBの最先端手法(MPRNet)より優れているが,計算コストとパラメータの11.7\%と42.1\%に留まることがわかった。 ソースコードはhttps://github.com/kuijiang94/magic-elfで入手できる。

関連論文リスト

• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• SideRT: A Real-time Pure Transformer Architecture for Single Image Depth Estimation [11.513054537848227]
  そこで我々は,SideRTと呼ばれる純粋なトランスフォーマーアーキテクチャを提案する。 これは、トランスフォーマーベースのネットワークが、単一画像深度推定フィールドにおいて、リアルタイムに最先端の性能が得られることを示す最初の研究である。
  論文  参考訳（メタデータ） (2022-04-29T05:46:20Z)
• Lightweight Bimodal Network for Single-Image Super-Resolution via Symmetric CNN and Recursive Transformer [27.51790638626891]
  シングルイメージ・スーパーレゾリューション(SISR)は、ディープラーニングの開発において大きなブレークスルーを達成している。 そこで本研究では,SISRのための軽量バイモーダルネットワーク(LBNet)を提案する。 具体的には,局所特徴抽出と粗い画像再構成に有効なシンメトリCNNを設計する。
  論文  参考訳（メタデータ） (2022-04-28T04:43:22Z)
• SUMD: Super U-shaped Matrix Decomposition Convolutional neural network for Image denoising [0.0]
  ネットワークに行列分解モジュール(MD)を導入し,グローバルなコンテキスト機能を確立する。 U字型アーキテクチャの多段階的プログレッシブ復元の設計に触発されて,MDモジュールをマルチブランチに統合する。 我々のモデル(SUMD)は、Transformerベースの手法で、同等の視覚的品質と精度が得られる。
  論文  参考訳（メタデータ） (2022-04-11T04:38:34Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Global Filter Networks for Image Classification [90.81352483076323]
  本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。 この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-01T17:58:16Z)
• RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition [123.59890802196797]
  画像認識のための多層パーセプトロン型ニューラルネットワーク構築ブロックであるRepMLPを提案する。 トレーニング中にRepMLP内に畳み込み層を構築し,それをFCにマージして推論を行う。 従来のCNNにRepMLPを挿入することで、ImageNetでは1.8%の精度、顔認識では2.9%、FLOPの低いCityscapeでは2.3%のmIoUを改善します。
  論文  参考訳（メタデータ） (2021-05-05T06:17:40Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。