論文の概要: DualDn: Dual-domain Denoising via Differentiable ISP

• arxiv url: http://arxiv.org/abs/2409.18783v1
• Date: Fri, 27 Sep 2024 14:30:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 11:53:50.449534
• Title: DualDn: Dual-domain Denoising via Differentiable ISP
• Title（参考訳）: DualDn: 差別化可能なISPによるデュアルドメインのデノーミング
• Authors: Ruikang Li, Yujin Wang, Shiqi Chen, Fan Zhang, Jinwei Gu, Tianfan Xue,
• Abstract要約: DualDnは、新しい学習ベースの二重ドメイン記述である。 異なるノイズ分布とISP構成に適応する。 プラグ・アンド・プレイのデノナイジングモジュールとして、実際のカメラで再トレーニングすることなく使用できる。
• 参考スコア（独自算出の注目度）: 18.615749494617564
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Image denoising is a critical component in a camera's Image Signal Processing (ISP) pipeline. There are two typical ways to inject a denoiser into the ISP pipeline: applying a denoiser directly to captured raw frames (raw domain) or to the ISP's output sRGB images (sRGB domain). However, both approaches have their limitations. Residual noise from raw-domain denoising can be amplified by the subsequent ISP processing, and the sRGB domain struggles to handle spatially varying noise since it only sees noise distorted by the ISP. Consequently, most raw or sRGB domain denoising works only for specific noise distributions and ISP configurations. To address these challenges, we propose DualDn, a novel learning-based dual-domain denoising. Unlike previous single-domain denoising, DualDn consists of two denoising networks: one in the raw domain and one in the sRGB domain. The raw domain denoising adapts to sensor-specific noise as well as spatially varying noise levels, while the sRGB domain denoising adapts to ISP variations and removes residual noise amplified by the ISP. Both denoising networks are connected with a differentiable ISP, which is trained end-to-end and discarded during the inference stage. With this design, DualDn achieves greater generalizability compared to most learning-based denoising methods, as it can adapt to different unseen noises, ISP parameters, and even novel ISP pipelines. Experiments show that DualDn achieves state-of-the-art performance and can adapt to different denoising architectures. Moreover, DualDn can be used as a plug-and-play denoising module with real cameras without retraining, and still demonstrate better performance than commercial on-camera denoising. The project website is available at: https://openimaginglab.github.io/DualDn/
• Abstract（参考訳）: Image Denoisingは、カメラのイメージ信号処理(ISP)パイプラインにおいて重要なコンポーネントである。 ISPパイプラインにデノイザを注入する方法には、キャプチャした生フレーム(生ドメイン)に直接デノイザを適用するか、ISPの出力sRGBイメージ(sRGBドメイン)に直接デノイザを注入する2つの典型的な方法がある。 しかし、どちらのアプローチにも限界がある。 その後のISP処理によって、生ドメインの残留ノイズが増幅され、sRGBドメインは、ISPが歪むノイズのみを見るため、空間的に変化するノイズを扱うのに苦労する。 したがって、ほとんどの生またはsRGBドメインは特定のノイズ分布とISP構成でのみ機能する。 これらの課題に対処するために、新しい学習ベースの二重ドメイン記述法であるDualDnを提案する。 以前の単一ドメインのdenoisingとは異なり、DualDnは生ドメインとsRGBドメインの2つのdenoisingネットワークで構成されている。 一方、sRGBドメインはISPの変動に適応し、ISPによって増幅された残留ノイズを除去する。 どちらのネットワークも差別化可能なISPに接続されており、このISPはエンドツーエンドで訓練され、推論段階で破棄される。 この設計により、DualDnは、異なる未知のノイズ、ISPパラメータ、さらには新しいISPパイプラインに適応できるため、多くの学習ベースのdenoisingメソッドと比較してより一般化性が高い。 実験により、DualDnは最先端のパフォーマンスを達成し、異なるデノーミングアーキテクチャに適応できることが示されている。 さらに、DualDnは実際のカメラをリトレーニングすることなく、プラグアンドプレイでデノナイジングモジュールとして使用することができ、商用のオンカメラデノナイジングよりも優れたパフォーマンスを示すことができる。 プロジェクトのWebサイトは以下の通りである。

関連論文リスト

• How to Best Combine Demosaicing and Denoising? [16.921538543268216]
  分解と分解は 生画像パイプラインにおいて 重要な役割を担っています ほとんどの復号法はノイズフリー画像の復号化に対処する。 本当の問題は、ノイズの多い生画像の合成と分解だ。
  論文  参考訳（メタデータ） (2024-08-13T07:23:53Z)
• Two-stage Progressive Residual Dense Attention Network for Image Denoising [0.680228754562676]
  多くのディープCNNベースのdenoisingモデルは、より重要で有用な特徴に注意を払わずに、ノイズの多い画像の階層的特徴を同様に利用し、比較的低いパフォーマンスをもたらす。 本稿では,2つのサブタスクに分割してノイズを段階的に除去する2段階のプログレッシブ・レジデンシャル・アテンション・ネットワーク(TSP-RDANet)を設計する。 2つの異なるアテンション機構に基づくデノナイジングネットワークは、2つのシーケンシャルなサブタスクのために設計されている。
  論文  参考訳（メタデータ） (2024-01-05T14:31:20Z)
• Real-time Controllable Denoising for Image and Video [44.68523669975698]
  コントロール可能なイメージデノゲーションは、人間の先行したクリーンなサンプルを生成し、シャープさと滑らかさのバランスをとることを目的としている。 本稿では,最初のディープ・イメージ・ビデオ・デノナイズ・パイプラインであるReal-time Controllable Denoising (RCD)を紹介する。 RCDは、任意のdenoisingレベルをリアルタイムに編集するための、完全に制御可能なユーザインターフェースを提供する。
  論文  参考訳（メタデータ） (2023-03-29T03:10:28Z)
• Spatially Adaptive Self-Supervised Learning for Real-World Image Denoising [73.71324390085714]
  本稿では,現実の sRGB 画像復号化の問題を解決するために,新しい視点を提案する。 ノイズの多い画像における平坦領域とテクスチャ領域のそれぞれの特徴を考慮し、それらを個別に管理する。 LAN自体がBNNの出力で管理されているのに対して,我々はその要件を満たすためのローカル・アウェア・ネットワーク(LAN)を提案する。
  論文  参考訳（メタデータ） (2023-03-27T06:18:20Z)
• Robust Deep Ensemble Method for Real-world Image Denoising [62.099271330458066]
  そこで本研究では,実世界の画像認識のための単純なベイズディープアンサンブル(BDE)手法を提案する。 我々のBDEは、最先端の復調法よりも+0.28dBPSNRのゲインを達成している。 我々のBDEは他の画像復元タスクにも拡張でき、ベンチマークデータセット上で+0.30dB、+0.18dB、+0.12dB PSNRゲインを達成することができる。
  論文  参考訳（メタデータ） (2022-06-08T06:19:30Z)
• Modeling sRGB Camera Noise with Normalizing Flows [35.29066692454865]
  各種ISOレベルにおけるsRGB画像の複雑な雑音分布を学習できる正規化フローに基づく新しいsRGB領域雑音モデルを提案する。 我々の正規化フローベースアプローチは、ノイズモデリングや合成タスクにおいて、他のモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-06-02T00:56:34Z)
• Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training [50.018580462619425]
  我々は,PNGAN(Pixel-level Noise-aware Generative Adrial Network)という新しいフレームワークを提案する。 PNGANは、トレーニング済みのリアルデノイザーを使用して、フェイク画像とリアルノイズ画像をほぼノイズのないソリューション空間にマッピングする。 より優れたノイズフィッティングを実現するため,ジェネレータとしてSimple Multi-versa-scale Network (SMNet) を提案する。
  論文  参考訳（メタデータ） (2022-04-06T14:09:02Z)
• Pseudo-ISP: Learning Pseudo In-camera Signal Processing Pipeline from A Color Image Denoiser [73.88164217509816]
  雑音の差によるテスト画像の処理にカラー画像復調器を適応させる未ペア学習方式を提案する。 我々は,事前訓練されたデノイザー,テスト用ノイズ画像のセット,クリーン画像の非ペア化など,実践的なトレーニング設定を検討する。 pseudo-ispは現実的なsrgb画像の合成に有効である。
  論文  参考訳（メタデータ） (2021-03-18T13:11:28Z)
• Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
  Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。 ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。 デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
  論文  参考訳（メタデータ） (2021-01-08T02:03:25Z)
• CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
  本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。 リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-17T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。