論文の概要: Masked Pre-trained Model Enables Universal Zero-shot Denoiser

• arxiv url: http://arxiv.org/abs/2401.14966v1
• Date: Fri, 26 Jan 2024 15:58:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 14:39:25.222876
• Title: Masked Pre-trained Model Enables Universal Zero-shot Denoiser
• Title（参考訳）: マスク付き事前訓練モデルによるユニバーサルゼロショットデノイザの実現
• Authors: Xiaoxiao Ma, Zhixiang Wei, Yi Jin, Pengyang Ling, Tianle Liu, Ben Wang, Junkang Dai, Huaian Chen, Enhong Chen
• Abstract要約: 我々は,新しいゼロショットデノベーションパラダイム,すなわち Masked Pre-train then Iterative fill (MPI) を提案する。 MPIはマスク付きモデルを事前訓練し、ノイズ劣化のない単一画像のデノナイズを微調整する。 イテレーティブフィリングは、デノイングのための訓練済みの知識を効率的に融合させるために考案される。
• 参考スコア（独自算出の注目度）: 48.890384388203735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we observe that the model, which is trained on vast general images using masking strategy, has been naturally embedded with the distribution knowledge regarding natural images, and thus spontaneously attains the underlying potential for strong image denoising. Based on this observation, we propose a novel zero-shot denoising paradigm, i.e., Masked Pre-train then Iterative fill (MPI). MPI pre-trains a model with masking and fine-tunes it for denoising of a single image with unseen noise degradation. Concretely, the proposed MPI comprises two key procedures: 1) Masked Pre-training involves training a model on multiple natural images with random masks to gather generalizable representations, allowing for practical applications in varying noise degradation and even in distinct image types. 2) Iterative filling is devised to efficiently fuse pre-trained knowledge for denoising. Similar to but distinct from pre-training, random masking is retained to bridge the gap, but only the predicted parts covered by masks are assembled for efficiency, which enables high-quality denoising within a limited number of iterations. Comprehensive experiments across various noisy scenarios underscore the notable advances of proposed MPI over previous approaches with a marked reduction in inference time. Code is available at https://github.com/krennic999/MPI.git.
• Abstract（参考訳）: 本研究では,マスキング戦略を用いて膨大な一般画像に訓練されたモデルが,自然画像の分布知識に自然に組み込まれ,強画像化の基盤となるポテンシャルを自然に獲得していることを観察する。 そこで本研究では,新しいゼロショットデノベーションパラダイム,すなわちMasked Pre-train then Iterative fill (MPI)を提案する。 MPIはマスク付きモデルを事前訓練し、ノイズ劣化のない単一画像のデノナイズを行う。 具体的には,提案したMPIには2つの重要な手順がある。 1)マスクプリトレーニングでは,ランダムマスクを用いた複数の自然画像に対するモデルをトレーニングし,一般化された表現を収集することで,ノイズ劣化や異なる画像タイプにおいても実用的な応用が可能となる。 2) 逐次充足は, 事前学習した知識を効率的に融合して発声する。 トレーニング前とは異なり、ランダムマスキングはギャップを橋渡しするために保持されるが、マスクでカバーされた予測された部品のみが効率良く組み立てられるため、限られた数のイテレーションで高品質なノイズ処理が可能になる。 様々なノイズの多いシナリオにわたる包括的な実験は、推定時間を著しく削減した以前のアプローチに対するmpiの注目すべき進歩を裏付けるものだ。 コードはhttps://github.com/krennic999/MPI.gitで入手できる。

関連論文リスト

• Frequency-Guided Masking for Enhanced Vision Self-Supervised Learning [49.275450836604726]
  本稿では、事前学習の有効性を大幅に向上させる、新しい周波数ベースの自己監視学習(SSL)手法を提案する。 我々は、知識蒸留によって強化された2ブランチのフレームワークを使用し、モデルがフィルタされた画像と原画像の両方を入力として取り込むことを可能にする。
  論文  参考訳（メタデータ） (2024-09-16T15:10:07Z)
• Self-Calibrated Variance-Stabilizing Transformations for Real-World Image Denoising [19.08732222562782]
  教師付き深層学習が画像認知のための選択方法となっている。 一般の信条とは対照的に,ガウスノイズ除去に特化するネットワークを有効活用し,実世界の画像復調に有効であることを示す。
  論文  参考訳（メタデータ） (2024-07-24T16:23:46Z)
• Score Priors Guided Deep Variational Inference for Unsupervised Real-World Single Image Denoising [14.486289176696438]
  本稿では,実世界の実演のためのスコア先行誘導深部変分推論,すなわちScoreDVIを提案する。 我々は、実世界の雑音をモデル化するために、非i.i.d$ガウス混合モデルと変分ノイズ後部モデルを利用する。 提案手法は,他の単一画像ベースの実世界のデノベーション手法よりも優れ,データセットベースの教師なし手法に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2023-08-09T03:26:58Z)
• Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
  本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。 提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。 提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
  論文  参考訳（メタデータ） (2023-03-23T09:33:44Z)
• Enhancing convolutional neural network generalizability via low-rank weight approximation [6.763245393373041]
  十分なノイズ処理は、画像処理にとって重要な第一歩であることが多い。 ディープニューラルネットワーク(DNN)は画像のノイズ化に広く利用されている。 本研究では,タッカー低ランクテンソル近似に基づく自己教師付き画像復調フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-26T14:11:05Z)
• IDR: Self-Supervised Image Denoising via Iterative Data Refinement [66.5510583957863]
  本稿では,最先端のデノナイジング性能を実現するために,教師なしの実用的なデノナイジング手法を提案する。 本手法では, 1つのノイズ画像と1つのノイズモデルしか必要とせず, 実際の生画像に容易にアクセス可能である。 実世界のアプリケーションにおける生画像復調性能を評価するため,500シーンのシーンを含む高品質な生画像データセットSenseNoise-500を構築した。
  論文  参考訳（メタデータ） (2021-11-29T07:22:53Z)
• Dual Adversarial Network: Toward Real-world Noise Removal and Noise Generation [52.75909685172843]
  実世界の画像ノイズ除去は、コンピュータビジョンにおける長年の課題である。 本稿では,ノイズ除去およびノイズ発生タスクに対処する新しい統合フレームワークを提案する。 本手法はクリーンノイズ画像対の連成分布を学習する。
  論文  参考訳（メタデータ） (2020-07-12T09:16:06Z)
• Fully Unsupervised Diversity Denoising with Convolutional Variational Autoencoders [81.30960319178725]
  完全畳み込み変分オートエンコーダ(VAE)に基づく復調手法であるDivNoisingを提案する。 まず, 撮像ノイズモデルをデコーダに明示的に組み込むことにより, 教師なしの雑音発生問題をVAEフレームワーク内に定式化する手法を提案する。 このようなノイズモデルは、ノイズの多いデータから測定したり、ブートストラップしたり、トレーニング中に共同学習したりすることが可能である。
  論文  参考訳（メタデータ） (2020-06-10T21:28:13Z)
• Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
  ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。 本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
  論文  参考訳（メタデータ） (2019-08-29T15:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。