論文の概要: Masked Pre-trained Model Enables Universal Zero-shot Denoiser
- arxiv url: http://arxiv.org/abs/2401.14966v1
- Date: Fri, 26 Jan 2024 15:58:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 14:39:25.222876
- Title: Masked Pre-trained Model Enables Universal Zero-shot Denoiser
- Title(参考訳): マスク付き事前訓練モデルによるユニバーサルゼロショットデノイザの実現
- Authors: Xiaoxiao Ma, Zhixiang Wei, Yi Jin, Pengyang Ling, Tianle Liu, Ben
Wang, Junkang Dai, Huaian Chen, Enhong Chen
- Abstract要約: 我々は,新しいゼロショットデノベーションパラダイム,すなわち Masked Pre-train then Iterative fill (MPI) を提案する。
MPIはマスク付きモデルを事前訓練し、ノイズ劣化のない単一画像のデノナイズを微調整する。
イテレーティブフィリングは、デノイングのための訓練済みの知識を効率的に融合させるために考案される。
- 参考スコア(独自算出の注目度): 48.890384388203735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we observe that the model, which is trained on vast general
images using masking strategy, has been naturally embedded with the
distribution knowledge regarding natural images, and thus spontaneously attains
the underlying potential for strong image denoising. Based on this observation,
we propose a novel zero-shot denoising paradigm, i.e., Masked Pre-train then
Iterative fill (MPI). MPI pre-trains a model with masking and fine-tunes it for
denoising of a single image with unseen noise degradation. Concretely, the
proposed MPI comprises two key procedures: 1) Masked Pre-training involves
training a model on multiple natural images with random masks to gather
generalizable representations, allowing for practical applications in varying
noise degradation and even in distinct image types. 2) Iterative filling is
devised to efficiently fuse pre-trained knowledge for denoising. Similar to but
distinct from pre-training, random masking is retained to bridge the gap, but
only the predicted parts covered by masks are assembled for efficiency, which
enables high-quality denoising within a limited number of iterations.
Comprehensive experiments across various noisy scenarios underscore the notable
advances of proposed MPI over previous approaches with a marked reduction in
inference time. Code is available at https://github.com/krennic999/MPI.git.
- Abstract(参考訳): 本研究では,マスキング戦略を用いて膨大な一般画像に訓練されたモデルが,自然画像の分布知識に自然に組み込まれ,強画像化の基盤となるポテンシャルを自然に獲得していることを観察する。
そこで本研究では,新しいゼロショットデノベーションパラダイム,すなわちMasked Pre-train then Iterative fill (MPI)を提案する。
MPIはマスク付きモデルを事前訓練し、ノイズ劣化のない単一画像のデノナイズを行う。
具体的には,提案したMPIには2つの重要な手順がある。
1)マスクプリトレーニングでは,ランダムマスクを用いた複数の自然画像に対するモデルをトレーニングし,一般化された表現を収集することで,ノイズ劣化や異なる画像タイプにおいても実用的な応用が可能となる。
2) 逐次充足は, 事前学習した知識を効率的に融合して発声する。
トレーニング前とは異なり、ランダムマスキングはギャップを橋渡しするために保持されるが、マスクでカバーされた予測された部品のみが効率良く組み立てられるため、限られた数のイテレーションで高品質なノイズ処理が可能になる。
様々なノイズの多いシナリオにわたる包括的な実験は、推定時間を著しく削減した以前のアプローチに対するmpiの注目すべき進歩を裏付けるものだ。
コードはhttps://github.com/krennic999/MPI.gitで入手できる。
関連論文リスト
- Score Priors Guided Deep Variational Inference for Unsupervised
Real-World Single Image Denoising [14.486289176696438]
本稿では,実世界の実演のためのスコア先行誘導深部変分推論,すなわちScoreDVIを提案する。
我々は、実世界の雑音をモデル化するために、非i.i.d$ガウス混合モデルと変分ノイズ後部モデルを利用する。
提案手法は,他の単一画像ベースの実世界のデノベーション手法よりも優れ,データセットベースの教師なし手法に匹敵する性能を実現する。
論文 参考訳(メタデータ) (2023-08-09T03:26:58Z) - Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。
提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。
提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
論文 参考訳(メタデータ) (2023-03-23T09:33:44Z) - Representing Noisy Image Without Denoising [120.08257941277321]
ラドン空間におけるフラクショナルオーダーモーメント(FMR)は、ノイズの多い画像から直接ロバストな表現を引き出すように設計されている。
従来の整数順序法とは異なり、我々の研究は特別な場合のような古典的手法を取り入れたより汎用的な設計である。
論文 参考訳(メタデータ) (2023-01-18T10:13:29Z) - Noise2Kernel: Adaptive Self-Supervised Blind Denoising using a Dilated
Convolutional Kernel Architecture [3.796436257221662]
本研究では,不変性を満たす拡張畳み込みネットワークを提案し,ランダムマスキングを使わずに効率的なカーネルベーストレーニングを実現する。
また,ゼロ平均制約を回避し,塩とペッパーまたはハイブリッドノイズの除去に有効である適応型自己超過損失を提案する。
論文 参考訳(メタデータ) (2020-12-07T12:13:17Z) - Dual Adversarial Network: Toward Real-world Noise Removal and Noise
Generation [52.75909685172843]
実世界の画像ノイズ除去は、コンピュータビジョンにおける長年の課題である。
本稿では,ノイズ除去およびノイズ発生タスクに対処する新しい統合フレームワークを提案する。
本手法はクリーンノイズ画像対の連成分布を学習する。
論文 参考訳(メタデータ) (2020-07-12T09:16:06Z) - Noise2Inpaint: Learning Referenceless Denoising by Inpainting Unrolling [2.578242050187029]
本稿では,ノイズ2Inpaint (N2I) をトレーニング手法として導入し,デノナイジング問題を正規化した画像インパインティングフレームワークに再キャストする。
N2Iは、実世界のデータセットのデノベーションを成功させると同時に、純粋にデータ駆動型であるNoss2Selfと比較して詳細を保存できる。
論文 参考訳(メタデータ) (2020-06-16T18:46:42Z) - Fully Unsupervised Diversity Denoising with Convolutional Variational
Autoencoders [81.30960319178725]
完全畳み込み変分オートエンコーダ(VAE)に基づく復調手法であるDivNoisingを提案する。
まず, 撮像ノイズモデルをデコーダに明示的に組み込むことにより, 教師なしの雑音発生問題をVAEフレームワーク内に定式化する手法を提案する。
このようなノイズモデルは、ノイズの多いデータから測定したり、ブートストラップしたり、トレーニング中に共同学習したりすることが可能である。
論文 参考訳(メタデータ) (2020-06-10T21:28:13Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳(メタデータ) (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。