論文の概要: Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising

• arxiv url: http://arxiv.org/abs/2404.07846v2
• Date: Wed, 04 Dec 2024 02:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 18:18:22.989554
• Title: Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising
• Title（参考訳）: 自己監督型画像復調のための変圧器を用いたブラインド・スポットネットワークの再検討
• Authors: Junyi Li, Zhilu Zhang, Wangmeng Zuo,
• Abstract要約: BSN(Blind-spot Network)は、SIDS(Self-supervised Image Denoising)において一般的なニューラルネットワークである。 我々は、盲点要件を満たすために、チャネルと空間的注意を分析、再設計する。 本研究では,Transformer ベースの Blind-Spot Network (TBSN) を構築した。
• 参考スコア（独自算出の注目度）: 94.09442506816724
• License:
• Abstract: Blind-spot networks (BSN) have been prevalent neural architectures in self-supervised image denoising (SSID). However, most existing BSNs are conducted with convolution layers. Although transformers have shown the potential to overcome the limitations of convolutions in many image restoration tasks, the attention mechanisms may violate the blind-spot requirement, thereby restricting their applicability in BSN. To this end, we propose to analyze and redesign the channel and spatial attentions to meet the blind-spot requirement. Specifically, channel self-attention may leak the blind-spot information in multi-scale architectures, since the downsampling shuffles the spatial feature into channel dimensions. To alleviate this problem, we divide the channel into several groups and perform channel attention separately. For spatial self-attention, we apply an elaborate mask to the attention matrix to restrict and mimic the receptive field of dilated convolution. Based on the redesigned channel and window attentions, we build a Transformer-based Blind-Spot Network (TBSN), which shows strong local fitting and global perspective abilities. Furthermore, we introduce a knowledge distillation strategy that distills TBSN into smaller denoisers to improve computational efficiency while maintaining performance. Extensive experiments on real-world image denoising datasets show that TBSN largely extends the receptive field and exhibits favorable performance against state-of-the-art SSID methods. The code and pre-trained models are available at https://github.com/nagejacob/TBSN.
• Abstract（参考訳）: BSN(Blind-spot Network)は、自己教師型イメージデノイング(SSID)において一般的なニューラルネットワークである。 しかし、既存のほとんどのBSNは畳み込み層で実行される。 変換器は、多くの画像復元タスクにおいて畳み込みの限界を克服する可能性を示しているが、注意機構は盲点要求に違反し、それによってBSNの適用性を制限する可能性がある。 そこで本稿では,盲点要件を満たすために,チャネルと空間的注意を分析・再設計することを提案する。 特に、チャネル自己注意は、チャネル次元に空間的特徴をシャッフルするため、マルチスケールアーキテクチャにおける盲点情報を漏らす可能性がある。 この問題を緩和するため、チャンネルを複数のグループに分割し、チャンネルの注意を別々に行う。 空間的自己注意のために、拡張畳み込みの受容場を制限・模倣するために、注意行列に精巧なマスクを適用する。 再設計されたチャネルとウィンドウアテンションに基づいて,Transformer ベースの Blind-Spot Network (TBSN) を構築した。 さらに,TBSNを小型デノイザーに蒸留し,性能を維持しながら計算効率を向上させる知識蒸留戦略を導入する。 実世界の画像復調データセットに対する大規模な実験により、TBSNは受容領域を大きく拡張し、最先端のSSID手法に対して良好な性能を示した。 コードと事前訓練されたモデルはhttps://github.com/nagejacob/TBSN.comで入手できる。

関連論文リスト

• Hyperspectral Image Denoising via Self-Modulating Convolutional Neural Networks [15.700048595212051]
  相関スペクトルと空間情報を利用した自己変調畳み込みニューラルネットワークを提案する。 モデルの中心には新しいブロックがあり、隣り合うスペクトルデータに基づいて、ネットワークが適応的に特徴を変換することができる。 合成データと実データの両方の実験解析により,提案したSM-CNNは,他の最先端HSI復調法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-09-15T06:57:43Z)
• Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
  本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。 エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。 提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
  論文  参考訳（メタデータ） (2023-06-08T06:15:17Z)
• Attention Aided CSI Wireless Localization [19.50869817974852]
  我々は、ディープニューラルネットワーク(DNN)におけるロバストな特徴学習のための注意に基づくCSIを提案する。 我々は,2つの非定常線路環境におけるレイトレーシングチャネルの集中分散MIMOシステムの性能評価を行った。
  論文  参考訳（メタデータ） (2022-03-20T09:38:01Z)
• Volumetric Transformer Networks [88.85542905676712]
  学習可能なモジュールである容積変換器ネットワーク(VTN)を導入する。 VTNは、中間CNNの空間的およびチャネル的特徴を再設定するために、チャネル回りの歪み場を予測する。 実験の結果,VTNは特徴量の表現力を一貫して向上し,細粒度画像認識とインスタンスレベルの画像検索におけるネットワークの精度が向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-18T14:00:12Z)
• Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
  本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。 本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-30T10:05:35Z)
• ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising [52.01041506447195]
  ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。 実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-04T08:36:27Z)
• Channel Equilibrium Networks for Learning Deep Representation [63.76618960820138]
  この研究は正規化と正則線型関数の組み合わせがチャネルを阻害することを示している。 阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、新しいニューラルネットワークビルディングブロックを設計することで、トレーニング中に「目を覚ます」ことを提案する。 Channel Equilibrium (CE) ブロックは、同じレイヤのチャネルが学習した表現に等しく寄与することを可能にする。
  論文  参考訳（メタデータ） (2020-02-29T09:02:31Z)
• Channel-Attention Dense U-Net for Multichannel Speech Enhancement [21.94418736688929]
  我々は、ビームフォーミングを模倣するチャネルアテンション機構をディープアーキテクチャ内に導入する。 我々は,CHiME-3データセットの最先端アプローチに対して,ネットワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-01-30T19:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。