論文の概要: Beyond Image Prior: Embedding Noise Prior into Conditional Denoising Transformer
- arxiv url: http://arxiv.org/abs/2407.09094v1
- Date: Fri, 12 Jul 2024 08:43:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 00:07:20.487088
- Title: Beyond Image Prior: Embedding Noise Prior into Conditional Denoising Transformer
- Title（参考訳）: コンディショナル・デノナイジング・トランスに先立ってノイズを埋め込む「Beyond Image Prior」
- Authors: Yuanfei Huang, Hua Huang,
- Abstract要約: 既存の学習ベースの推論手法は、大規模なデータセットからイメージを一般化するためにモデルを訓練するのが一般的である。
本稿では,ノイズと画像の先行部分の分離を区別することによる,難読化問題に対する新たな視点を提案する。
本稿では,1つの生雑音画像から直接先行する雑音を正確に推定する局所雑音優先推定アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 17.430622649002427
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Existing learning-based denoising methods typically train models to generalize the image prior from large-scale datasets, suffering from the variability in noise distributions encountered in real-world scenarios. In this work, we propose a new perspective on the denoising challenge by highlighting the distinct separation between noise and image priors. This insight forms the basis for our development of conditional optimization framework, designed to overcome the constraints of traditional denoising framework. To this end, we introduce a Locally Noise Prior Estimation (LoNPE) algorithm, which accurately estimates the noise prior directly from a single raw noisy image. This estimation acts as an explicit prior representation of the camera sensor's imaging environment, distinct from the image prior of scenes. Additionally, we design an auxiliary learnable LoNPE network tailored for practical application to sRGB noisy images. Leveraging the estimated noise prior, we present a novel Conditional Denoising Transformer (Condformer), by incorporating the noise prior into a conditional self-attention mechanism. This integration allows the Condformer to segment the optimization process into multiple explicit subspaces, significantly enhancing the model's generalization and flexibility. Extensive experimental evaluations on both synthetic and real-world datasets, demonstrate that the proposed method achieves superior performance over current state-of-the-art methods. The source code is available at https://github.com/YuanfeiHuang/Condformer.
- Abstract（参考訳）: 既存の学習ベースの復調法は、現実のシナリオで発生する雑音分布の変化に悩まされ、大規模なデータセットからイメージを一般化するためにモデルを訓練するのが一般的である。
そこで本研究では,ノイズと画像の先行部分の分離を個別に強調することにより,難読化問題に対する新たな視点を提案する。
この洞察は、従来の認知フレームワークの制約を克服するために設計された条件付き最適化フレームワークの開発の基礎を形成します。
そこで我々はLoNPE(Locally Noise Prior Estimation)アルゴリズムを導入し,1つの生ノイズ画像から直接ノイズを正確に推定する。
この推定は、カメラセンサーの撮像環境の明示的な事前表現として機能し、シーンの前の画像とは異なる。
さらに,SRGBノイズ画像への実用的な応用に適した補助学習可能なLoNPEネットワークを設計する。
推定雑音を利用した新しいコンディショナル・デノイング・トランス(Condformer)を提案する。
この統合により、Condformerは最適化プロセスを複数の明示的な部分空間に分割することができ、モデルの一般化と柔軟性を大幅に向上させることができる。
合成および実世界の両方のデータセットに対する大規模な実験評価により,提案手法が現状の手法よりも優れた性能を達成できることが実証された。
ソースコードはhttps://github.com/YuanfeiHuang/Condformer.comで入手できる。
関連論文リスト
- Score Priors Guided Deep Variational Inference for Unsupervised
Real-World Single Image Denoising [14.486289176696438]
本稿では,実世界の実演のためのスコア先行誘導深部変分推論,すなわちScoreDVIを提案する。
我々は、実世界の雑音をモデル化するために、非i.i.d$ガウス混合モデルと変分ノイズ後部モデルを利用する。
提案手法は,他の単一画像ベースの実世界のデノベーション手法よりも優れ,データセットベースの教師なし手法に匹敵する性能を実現する。
論文 参考訳（メタデータ） (2023-08-09T03:26:58Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳（メタデータ） (2023-05-17T13:56:48Z) - Representing Noisy Image Without Denoising [91.73819173191076]
ラドン空間におけるフラクショナルオーダーモーメント(FMR)は、ノイズの多い画像から直接ロバストな表現を引き出すように設計されている。
従来の整数順序法とは異なり、我々の研究は特別な場合のような古典的手法を取り入れたより汎用的な設計である。
論文 参考訳（メタデータ） (2023-01-18T10:13:29Z) - NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。
我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
論文 参考訳（メタデータ） (2022-12-14T08:19:30Z) - CFNet: Conditional Filter Learning with Dynamic Noise Estimation for
Real Image Denoising [37.29552796977652]
本稿では、カメラ内信号処理パイプラインを用いた異方性ガウス/ポアソンガウス分布によって近似された実雑音について考察する。
本稿では,特徴位置の異なる最適なカーネルを画像とノイズマップの局所的特徴により適応的に推定できる条件付きフィルタを提案する。
また,CNN構造にノイズ推定や非ブラインド復調を行う場合,反復的特徴復調を導出する前に連続的にノイズを更新すると考える。
論文 参考訳（メタデータ） (2022-11-26T14:28:54Z) - Self-supervised Denoising via Low-rank Tensor Approximated Convolutional
Neural Network [2.2720758067273197]
十分なノイズ処理は、画像処理にとって重要な第一歩であることが多い。
ディープニューラルネットワーク(DNN)は画像のノイズ化に広く利用されている。
本研究では,タッカー低ランクテンソル近似に基づく自己教師付き画像復調フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-26T14:11:05Z) - Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。
トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。
AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
論文 参考訳（メタデータ） (2022-03-24T18:11:31Z) - FINO: Flow-based Joint Image and Noise Model [23.9749061109964]
フローベースジョイントイメージとノイズモデル(FINO)
本研究では,フローベース・ジョイント・イメージ・アンド・ノイズモデル(FINO)を提案する。
論文 参考訳（メタデータ） (2021-11-11T02:51:54Z) - Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。
ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。
デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
論文 参考訳（メタデータ） (2021-01-08T02:03:25Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳（メタデータ） (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。