論文の概要: Magic ELF: Image Deraining Meets Association Learning and Transformer

• arxiv url: http://arxiv.org/abs/2207.10455v1
• Date: Thu, 21 Jul 2022 12:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 13:13:05.759608
• Title: Magic ELF: Image Deraining Meets Association Learning and Transformer
• Title（参考訳）: Magic ELF:アソシエーション学習とトランスフォーマーとの出会い
• Authors: Kui Jiang, Zhongyuan Wang, Chen Chen, Zheng Wang, Laizhong Cui, Chia-Wen Lin
• Abstract要約: 本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
• 参考スコア（独自算出の注目度）: 63.761812092934576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural network (CNN) and Transformer have achieved great success in multimedia applications. However, little effort has been made to effectively and efficiently harmonize these two architectures to satisfy image deraining. This paper aims to unify these two architectures to take advantage of their learning merits for image deraining. In particular, the local connectivity and translation equivariance of CNN and the global aggregation ability of self-attention (SA) in Transformer are fully exploited for specific local context and global structure representations. Based on the observation that rain distribution reveals the degradation location and degree, we introduce degradation prior to help background recovery and accordingly present the association refinement deraining scheme. A novel multi-input attention module (MAM) is proposed to associate rain perturbation removal and background recovery. Moreover, we equip our model with effective depth-wise separable convolutions to learn the specific feature representations and trade off computational complexity. Extensive experiments show that our proposed method (dubbed as ELF) outperforms the state-of-the-art approach (MPRNet) by 0.25 dB on average, but only accounts for 11.7\% and 42.1\% of its computational cost and parameters. The source code is available at https://github.com/kuijiang94/Magic-ELF.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)とTransformerは、マルチメディアアプリケーションで大きな成功を収めた。 しかし,これら2つのアーキテクチャを効果的かつ効率的に調和させ,画像のデレーニングを満足させる努力はほとんど行われていない。 本稿では,これら2つのアーキテクチャを一体化し,イメージレーダリングの学習メリットを生かすことを目的としている。 特に、CNNの局所接続性と翻訳の等価性と、トランスフォーマーにおける自己注意(SA)のグローバルアグリゲーション能力は、特定のローカルコンテキストとグローバル構造表現に対して完全に活用される。 降雨分布が劣化位置と度合いを明らかにするという観測に基づいて, 背景の回復に先立って劣化を導入し, そして, 本手法を提示する。 雨の摂動除去と背景回復を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 さらに,本モデルに効果的な奥行き分離可能な畳み込みを適用し,特徴表現を学習し,計算複雑性をトレードオフする。 実験の結果,提案手法(ELF)は平均0.25dBの最先端手法(MPRNet)より優れているが,計算コストとパラメータの11.7\%と42.1\%に留まることがわかった。 ソースコードはhttps://github.com/kuijiang94/magic-elfで入手できる。

関連論文リスト

• Double-Shot 3D Shape Measurement with a Dual-Branch Network [14.749887303860717]
  我々は、異なる構造光(SL)変調を処理するために、デュアルブランチ畳み込みニューラルネットワーク(CNN)-トランスフォーマーネットワーク(PDCNet)を提案する。 PDCNet内では、Transformerブランチを使用してフリンジイメージのグローバルな認識をキャプチャし、CNNブランチはスペックルイメージのローカル詳細を収集するように設計されている。 提案手法は, 自己生成データセット上で高精度な結果が得られる一方で, フランジオーダーの曖昧さを低減できることを示す。
  論文  参考訳（メタデータ） (2024-07-19T10:49:26Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• FuseFormer: A Transformer for Visual and Thermal Image Fusion [3.6064695344878093]
  本稿では,従来の評価指標を損失関数として用いた場合の限界を緩和する画像融合問題に対する新しい手法を提案する。 提案手法は,局所的およびグローバルなコンテキスト情報に順応的に対処するトランスフォーマーベースのマルチスケール融合戦略を統合する。 提案手法は,新たな損失関数の定義とともに,他の競合融合アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-01T19:40:39Z)
• Dynamic Association Learning of Self-Attention and Convolution in Image Restoration [56.49098856632478]
  CNNとSelf attentionは、画像修復における自己意識と畳み込みの動的関連学習のためのマルチメディアアプリケーションにおいて大きな成功を収めている。 本稿では,その利点を活かし,その欠点を抑え,高品質で効率的な塗布を実現するためのアソシエーション学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-09T05:11:24Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。