論文の概要: Self-supervised Image Denoising with Downsampled Invariance Loss and
Conditional Blind-Spot Network
- arxiv url: http://arxiv.org/abs/2304.09507v2
- Date: Fri, 28 Jul 2023 06:06:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 15:50:28.355711
- Title: Self-supervised Image Denoising with Downsampled Invariance Loss and
Conditional Blind-Spot Network
- Title(参考訳): ダウンサンプリング不分散損失と条件付きブラインドスポットネットワークを用いた自己教師あり画像の雑音化
- Authors: Yeong Il Jang, Keuntek Lee, Gu Yong Park, Seyun Kim, Nam Ik Cho
- Abstract要約: ほとんどの代表的自己監督型デノイザーは盲点ネットワークに基づいている。
標準的な盲点ネットワークは、ノイズの画素ワイド相関により、実際のカメラノイズを低減できない。
実雑音を除去できる新しい自己教師型トレーニングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.478287906337194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There have been many image denoisers using deep neural networks, which
outperform conventional model-based methods by large margins. Recently,
self-supervised methods have attracted attention because constructing a large
real noise dataset for supervised training is an enormous burden. The most
representative self-supervised denoisers are based on blind-spot networks,
which exclude the receptive field's center pixel. However, excluding any input
pixel is abandoning some information, especially when the input pixel at the
corresponding output position is excluded. In addition, a standard blind-spot
network fails to reduce real camera noise due to the pixel-wise correlation of
noise, though it successfully removes independently distributed synthetic
noise. Hence, to realize a more practical denoiser, we propose a novel
self-supervised training framework that can remove real noise. For this, we
derive the theoretic upper bound of a supervised loss where the network is
guided by the downsampled blinded output. Also, we design a conditional
blind-spot network (C-BSN), which selectively controls the blindness of the
network to use the center pixel information. Furthermore, we exploit a random
subsampler to decorrelate noise spatially, making the C-BSN free of visual
artifacts that were often seen in downsample-based methods. Extensive
experiments show that the proposed C-BSN achieves state-of-the-art performance
on real-world datasets as a self-supervised denoiser and shows qualitatively
pleasing results without any post-processing or refinement.
- Abstract(参考訳): ディープニューラルネットワークを用いた画像デノイザは数多く存在し、従来のモデルベース手法を大きなマージンで上回っている。
近年,教師付き訓練のための大規模実雑音データセットの構築が大きな負担となるため,自己監督手法が注目されている。
最も代表的な自己監督型デノイザは、受信フィールドの中心ピクセルを除外する盲点ネットワークに基づいている。
しかし、入力画素を除くと、特に対応する出力位置の入力画素が除外された場合、いくつかの情報を捨てる。
さらに、標準的な盲点ネットワークは、ノイズのピクセルワイド相関による実際のカメラノイズを低減できないが、独立に分散された合成ノイズを除去することに成功した。
そこで,より実用的なデノイザーを実現するために,実雑音を除去できる新しい自己教師付き学習フレームワークを提案する。
このために、ネットワークがダウンサンプリングされたブラインド出力によって誘導される教師付き損失の理論上上限を導出する。
また,ネットワークの盲点を選択的に制御して中心画素情報を使用する条件付きブラインドスポットネットワーク(c-bsn)を設計する。
さらに,無作為なサブサンプラーを用いて雑音を空間的にデコレーションし,C-BSNはダウンサンプル方式でよく見られる視覚的アーティファクトを含まないようにした。
大規模な実験により、提案したC-BSNは、自己教師付きデノイザとして現実のデータセット上での最先端のパフォーマンスを達成し、後処理や改善なしに質的に満足な結果を示す。
関連論文リスト
- Direct Unsupervised Denoising [60.71146161035649]
教師なしのデノイザは、MMSE推定のような単一の予測を直接生成しない。
本稿では,VAEと並んで決定論的ネットワークを訓練し,中心的な傾向を直接予測するアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-27T13:02:12Z) - Random Sub-Samples Generation for Self-Supervised Real Image Denoising [9.459398471988724]
我々は,Smpling Different As Perturbation (SDAP) という,自己監督型実画像記述フレームワークを提案する。
トレーニング画像に適切な摂動を加えることで,BSNの性能を効果的に向上できることがわかった。
その結果、実世界のデータセット上で、最先端の自己教師型デノベーション手法を著しく上回っていることが明らかとなった。
論文 参考訳(メタデータ) (2023-07-31T16:39:35Z) - Exploring Efficient Asymmetric Blind-Spots for Self-Supervised Denoising in Real-World Scenarios [44.31657750561106]
実世界のシナリオにおけるノイズはしばしば空間的に相関しており、多くの自己教師型アルゴリズムは性能が良くない。
盲点サイズを自由に調整できる非対称可変ブラインド・スポットネットワーク(AT-BSN)を提案する。
提案手法は最先端技術を実現し,計算オーバーヘッドや視覚効果の観点から,他の自己教師付きアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-03-29T15:19:01Z) - Spatially Adaptive Self-Supervised Learning for Real-World Image
Denoising [73.71324390085714]
本稿では,現実の sRGB 画像復号化の問題を解決するために,新しい視点を提案する。
ノイズの多い画像における平坦領域とテクスチャ領域のそれぞれの特徴を考慮し、それらを個別に管理する。
LAN自体がBNNの出力で管理されているのに対して,我々はその要件を満たすためのローカル・アウェア・ネットワーク(LAN)を提案する。
論文 参考訳(メタデータ) (2023-03-27T06:18:20Z) - I2V: Towards Texture-Aware Self-Supervised Blind Denoising using
Self-Residual Learning for Real-World Images [8.763680382529412]
pixel-shuffle downsampling (PD) はノイズの空間的相関を排除するために提案されている。
テクスチャ情報を維持するために,PD処理を使わずに自己学習を提案する。
広汎な実験の結果,提案手法は最先端の自己監督型ブラインド・デノイング・アプローチよりも優れていた。
論文 参考訳(メタデータ) (2023-02-21T08:51:17Z) - Enhancing convolutional neural network generalizability via low-rank weight approximation [6.763245393373041]
十分なノイズ処理は、画像処理にとって重要な第一歩であることが多い。
ディープニューラルネットワーク(DNN)は画像のノイズ化に広く利用されている。
本研究では,タッカー低ランクテンソル近似に基づく自己教師付き画像復調フレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-26T14:11:05Z) - Robust Deep Ensemble Method for Real-world Image Denoising [62.099271330458066]
そこで本研究では,実世界の画像認識のための単純なベイズディープアンサンブル(BDE)手法を提案する。
我々のBDEは、最先端の復調法よりも+0.28dBPSNRのゲインを達成している。
我々のBDEは他の画像復元タスクにも拡張でき、ベンチマークデータセット上で+0.30dB、+0.18dB、+0.12dB PSNRゲインを達成することができる。
論文 参考訳(メタデータ) (2022-06-08T06:19:30Z) - Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware
Adversarial Training [50.018580462619425]
我々は,PNGAN(Pixel-level Noise-aware Generative Adrial Network)という新しいフレームワークを提案する。
PNGANは、トレーニング済みのリアルデノイザーを使用して、フェイク画像とリアルノイズ画像をほぼノイズのないソリューション空間にマッピングする。
より優れたノイズフィッティングを実現するため,ジェネレータとしてSimple Multi-versa-scale Network (SMNet) を提案する。
論文 参考訳(メタデータ) (2022-04-06T14:09:02Z) - Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。
ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。
デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
論文 参考訳(メタデータ) (2021-01-08T02:03:25Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳(メタデータ) (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。