論文の概要: Dynamic Association Learning of Self-Attention and Convolution in Image Restoration

• arxiv url: http://arxiv.org/abs/2311.05147v1
• Date: Thu, 9 Nov 2023 05:11:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:06:47.257031
• Title: Dynamic Association Learning of Self-Attention and Convolution in Image Restoration
• Title（参考訳）: 画像復元における自己認識と畳み込みのダイナミックアソシエーション学習
• Authors: Kui Jiang, Xuemei Jia, Wenxin Huang, Wenbin Wang, Zheng Wang, Junjun Jiang
• Abstract要約: CNNとSelf attentionは、画像修復における自己意識と畳み込みの動的関連学習のためのマルチメディアアプリケーションにおいて大きな成功を収めている。 本稿では,その利点を活かし,その欠点を抑え,高品質で効率的な塗布を実現するためのアソシエーション学習手法を提案する。
• 参考スコア（独自算出の注目度）: 56.49098856632478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: CNNs and Self attention have achieved great success in multimedia applications for dynamic association learning of self-attention and convolution in image restoration. However, CNNs have at least two shortcomings: 1) limited receptive field; 2) static weight of sliding window at inference, unable to cope with the content diversity.In view of the advantages and disadvantages of CNNs and Self attention, this paper proposes an association learning method to utilize the advantages and suppress their shortcomings, so as to achieve high-quality and efficient inpainting. We regard rain distribution reflects the degradation location and degree, in addition to the rain distribution prediction. Thus, we propose to refine background textures with the predicted degradation prior in an association learning manner. As a result, we accomplish image deraining by associating rain streak removal and background recovery, where an image deraining network and a background recovery network are designed for two subtasks. The key part of association learning is a novel multi-input attention module. It generates the degradation prior and produces the degradation mask according to the predicted rainy distribution. Benefited from the global correlation calculation of SA, MAM can extract the informative complementary components from the rainy input with the degradation mask, and then help accurate texture restoration. Meanwhile, SA tends to aggregate feature maps with self-attention importance, but convolution diversifies them to focus on the local textures. A hybrid fusion network involves one residual Transformer branch and one encoder-decoder branch. The former takes a few learnable tokens as input and stacks multi-head attention and feed-forward networks to encode global features of the image. The latter, conversely, leverages the multi-scale encoder-decoder to represent contexture knowledge.
• Abstract（参考訳）: CNNとSelf attentionは、画像修復における自己意識と畳み込みの動的関連学習のためのマルチメディアアプリケーションにおいて大きな成功を収めている。 しかし、CNNには少なくとも2つの欠点がある。 1) 限定受容領域 2) 推論時のスライディングウインドウの静的重みは, コンテンツの多様性に対処できない。cnnの長所と短所, 自己注意の観点から, アドバンテージを活用し, その欠点を抑制するための連想学習法を提案する。 降雨分布は降雨分布予測に加えて,降雨位置や程度を反映していると考えられる。 そこで本研究では,関連学習に先立って予測された劣化を伴う背景テクスチャを改良することを提案する。 その結果,2つのサブタスクに対して画像デライニングネットワークとバックグラウンドリカバリネットワークを設計し,雨害除去とバックグラウンドリカバリを関連付けることで画像デライニングを実現した。 関連学習の重要な部分は、新しい多入力アテンションモジュールである。 予測雨量分布に応じて, 先行して劣化を発生させ, 劣化マスクを生成する。 SAのグローバル相関計算から得られたMAMは、雨天の入力から劣化マスクを用いて情報補完成分を抽出し、正確なテクスチャ復元を支援する。 一方、SAは特徴写像を自己注意的重要性で集約する傾向にあるが、畳み込みによって局所的なテクスチャに焦点を絞る。 ハイブリッド融合ネットワークは、1つの残差変圧器分岐と1つのエンコーダ−デコーダ分岐を含む。 前者は入力として学習可能なトークンをいくつか取り、マルチヘッドの注意とフィードフォワードのネットワークを積み重ねて画像のグローバルな特徴を符号化する。 逆に後者は、コンテキスト知識を表現するためにマルチスケールエンコーダデコーダを利用する。

関連論文リスト

• Decoupling Degradation and Content Processing for Adverse Weather Image Restoration [79.59228846484415]
  逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。 従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。 本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
  論文  参考訳（メタデータ） (2023-12-08T12:26:38Z)
• Latent Degradation Representation Constraint for Single Image Deraining [13.414207526373959]
  本稿では,DAEncoder(Direction-Aware),UNet Deraining Network,MSIBlockで構成されるLDRCNetを提案する。 合成および実データを用いた実験結果から,本手法が新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-09T12:50:06Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• SAPNet: Segmentation-Aware Progressive Network for Perceptual Contrastive Deraining [2.615176171489612]
  単一画像のデライニングのためのコントラスト学習に基づくセグメンテーション・アウェア・プログレッシブ・ネットワーク(SAPNet)を提案する。 本モデルでは,オブジェクト検出とセマンティックセマンティックセグメンテーションを高い精度で支援する。
  論文  参考訳（メタデータ） (2021-11-17T03:57:11Z)
• Beyond Monocular Deraining: Parallel Stereo Deraining Network Via Semantic Prior [103.49307603952144]
  ほとんどの既存の脱雨アルゴリズムは単一の入力画像のみを使用し、クリーンな画像の復元を目指しています。 本稿では,ステレオ画像とセマンティック情報の両方を利用するPaired Rain Removal Network(PRRNet)を提案する。 単分子および新たに提案したステレオ降雨データセットの両方の実験により,提案手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-05-09T04:15:10Z)
• Multi-Scale Hourglass Hierarchical Fusion Network for Single Image Deraining [8.964751500091005]
  雨のひもはサイズ、方向および密度で頻繁に変わる深刻なぼやけおよび視覚質の低下をもたらします。 現在のCNN方式は, 降雨特性の描写や, 可視性に乏しい環境下でのイメージの復元に限られている。 本稿では,マルチスケール抽出,階層蒸留,情報集約による雨天の特徴を正確に把握するために,マルチスケールのHH2F-Netを提案する。
  論文  参考訳（メタデータ） (2021-04-25T08:27:01Z)
• Multi-Task Learning Enhanced Single Image De-Raining [9.207797392774465]
  画像の降雨除去はコンピュータビジョンにおいて重要な課題であり、より多くの人々の注目を集めている。 本稿では,1枚の画像からレインストリークの視覚効果を除去する非自明な問題に対処する。 本手法は,降雨除去のためのマルチタスク回帰モデルにおいて,様々な意味制約タスクを組み合わさったものである。
  論文  参考訳（メタデータ） (2020-03-21T16:19:56Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。