論文の概要: TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising

• arxiv url: http://arxiv.org/abs/2404.07846v1
• Date: Thu, 11 Apr 2024 15:39:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 13:30:32.014259
• Title: TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising
• Title（参考訳）: TBSN:自己監督型画像復調のためのトランスフォーマーベースブラインドスポットネットワーク
• Authors: Junyi Li, Zhilu Zhang, Wangmeng Zuo,
• Abstract要約: BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。 本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。 空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。 チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
• 参考スコア（独自算出の注目度）: 94.09442506816724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blind-spot networks (BSN) have been prevalent network architectures in self-supervised image denoising (SSID). Existing BSNs are mostly conducted with convolution layers. Although transformers offer potential solutions to the limitations of convolutions and have demonstrated success in various image restoration tasks, their attention mechanisms may violate the blind-spot requirement, thus restricting their applicability in SSID. In this paper, we present a transformer-based blind-spot network (TBSN) by analyzing and redesigning the transformer operators that meet the blind-spot requirement. Specifically, TBSN follows the architectural principles of dilated BSNs, and incorporates spatial as well as channel self-attention layers to enhance the network capability. For spatial self-attention, an elaborate mask is applied to the attention matrix to restrict its receptive field, thus mimicking the dilated convolution. For channel self-attention, we observe that it may leak the blind-spot information when the channel number is greater than spatial size in the deep layers of multi-scale architectures. To eliminate this effect, we divide the channel into several groups and perform channel attention separately. Furthermore, we introduce a knowledge distillation strategy that distills TBSN into smaller denoisers to improve computational efficiency while maintaining performance. Extensive experiments on real-world image denoising datasets show that TBSN largely extends the receptive field and exhibits favorable performance against state-of-the-art SSID methods. The code and pre-trained models will be publicly available at https://github.com/nagejacob/TBSN.
• Abstract（参考訳）: BSN(Blind-spot Network)は、自己教師型イメージデノイング(SSID)において広く使われているネットワークアーキテクチャである。 既存のBSNは主に畳み込み層で実行される。 変換器は畳み込みの限界に対する潜在的な解決策を提供し、様々な画像復元タスクで成功したが、その注意機構は盲点要求に違反し、SSIDの適用性を制限する可能性がある。 本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。 具体的には、TBSNは拡張されたBSNのアーキテクチャ原則に従い、ネットワーク能力を高めるために、空間的およびチャネル自己アテンション層を組み込む。 空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。 チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。 この効果を排除するため、チャンネルを複数のグループに分割し、チャンネルの注意を別々に行う。 さらに,TBSNを小型デノイザーに蒸留し,性能を維持しながら計算効率を向上させる知識蒸留戦略を導入する。 実世界の画像復調データセットに対する大規模な実験により、TBSNは受容領域を大きく拡張し、最先端のSSID手法に対して良好な性能を示した。 コードと事前訓練されたモデルはhttps://github.com/nagejacob/TBSN.comで公開される。

関連論文リスト

• Hyperspectral Image Denoising via Self-Modulating Convolutional Neural Networks [15.700048595212051]
  相関スペクトルと空間情報を利用した自己変調畳み込みニューラルネットワークを提案する。 モデルの中心には新しいブロックがあり、隣り合うスペクトルデータに基づいて、ネットワークが適応的に特徴を変換することができる。 合成データと実データの両方の実験解析により,提案したSM-CNNは,他の最先端HSI復調法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-09-15T06:57:43Z)
• Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
  本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。 エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。 提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
  論文  参考訳（メタデータ） (2023-06-08T06:15:17Z)
• Attention Aided CSI Wireless Localization [19.50869817974852]
  我々は、ディープニューラルネットワーク(DNN)におけるロバストな特徴学習のための注意に基づくCSIを提案する。 我々は,2つの非定常線路環境におけるレイトレーシングチャネルの集中分散MIMOシステムの性能評価を行った。
  論文  参考訳（メタデータ） (2022-03-20T09:38:01Z)
• Volumetric Transformer Networks [88.85542905676712]
  学習可能なモジュールである容積変換器ネットワーク(VTN)を導入する。 VTNは、中間CNNの空間的およびチャネル的特徴を再設定するために、チャネル回りの歪み場を予測する。 実験の結果,VTNは特徴量の表現力を一貫して向上し,細粒度画像認識とインスタンスレベルの画像検索におけるネットワークの精度が向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-18T14:00:12Z)
• Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
  本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。 本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-30T10:05:35Z)
• ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising [52.01041506447195]
  ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。 実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-04T08:36:27Z)
• Channel Equilibrium Networks for Learning Deep Representation [63.76618960820138]
  この研究は正規化と正則線型関数の組み合わせがチャネルを阻害することを示している。 阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、新しいニューラルネットワークビルディングブロックを設計することで、トレーニング中に「目を覚ます」ことを提案する。 Channel Equilibrium (CE) ブロックは、同じレイヤのチャネルが学習した表現に等しく寄与することを可能にする。
  論文  参考訳（メタデータ） (2020-02-29T09:02:31Z)
• Channel-Attention Dense U-Net for Multichannel Speech Enhancement [21.94418736688929]
  我々は、ビームフォーミングを模倣するチャネルアテンション機構をディープアーキテクチャ内に導入する。 我々は,CHiME-3データセットの最先端アプローチに対して,ネットワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-01-30T19:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。