論文の概要: Physics-based Noise Modeling for Extreme Low-light Photography

• arxiv url: http://arxiv.org/abs/2108.02158v1
• Date: Wed, 4 Aug 2021 16:36:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-05 13:11:10.243309
• Title: Physics-based Noise Modeling for Extreme Low-light Photography
• Title（参考訳）: 極低照度撮影のための物理ベースノイズモデリング
• Authors: Kaixuan Wei, Ying Fu, Yinqiang Zheng and Jiaolong Yang
• Abstract要約: CMOS光センサの撮像パイプラインにおけるノイズ統計について検討する。 実雑音構造を正確に特徴付けることのできる包括的ノイズモデルを定式化する。 我々のノイズモデルは、学習に基づく低照度復調アルゴリズムのためのリアルなトレーニングデータを合成するのに利用できる。
• 参考スコア（独自算出の注目度）: 63.65570751728917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enhancing the visibility in extreme low-light environments is a challenging task. Under nearly lightless condition, existing image denoising methods could easily break down due to significantly low SNR. In this paper, we systematically study the noise statistics in the imaging pipeline of CMOS photosensors, and formulate a comprehensive noise model that can accurately characterize the real noise structures. Our novel model considers the noise sources caused by digital camera electronics which are largely overlooked by existing methods yet have significant influence on raw measurement in the dark. It provides a way to decouple the intricate noise structure into different statistical distributions with physical interpretations. Moreover, our noise model can be used to synthesize realistic training data for learning-based low-light denoising algorithms. In this regard, although promising results have been shown recently with deep convolutional neural networks, the success heavily depends on abundant noisy clean image pairs for training, which are tremendously difficult to obtain in practice. Generalizing their trained models to images from new devices is also problematic. Extensive experiments on multiple low-light denoising datasets -- including a newly collected one in this work covering various devices -- show that a deep neural network trained with our proposed noise formation model can reach surprisingly-high accuracy. The results are on par with or sometimes even outperform training with paired real data, opening a new door to real-world extreme low-light photography.
• Abstract（参考訳）: 極端な低照度環境での可視性を高めることは難しい課題です。 ほぼ無光条件下では、SNRが著しく低いため、既存の画像復調法は容易に分解できる。 本稿では,cmosフォトセンサの撮像パイプラインにおけるノイズ統計を体系的に検討し,実際のノイズ構造を正確に特徴付ける包括的ノイズモデルを定式化する。 本モデルでは,既存手法にほとんど見落とされないデジタルカメラのノイズ源を考察するが,暗黒域での生計測には大きな影響を及ぼす。 複雑なノイズ構造を物理的解釈で異なる統計分布に分離する方法を提供する。 さらに,我々のノイズモデルを用いて,学習に基づく低照度復調アルゴリズムのリアルなトレーニングデータを合成することができる。 この点に関して、近年、深層畳み込みニューラルネットワークで有望な結果が示されているが、この成功は訓練のための豊富なノイズの多いクリーンイメージペアに大きく依存している。 トレーニングされたモデルを新しいデバイスからの画像に一般化することも問題となる。 さまざまなデバイスをカバーするこの研究で新たに収集されたデータセットを含む、複数の低照度denoisingデータセットに関する大規模な実験は、提案したノイズ生成モデルでトレーニングされたディープニューラルネットワークが驚くほど高い精度に達することを示しています。 その結果は、ペア化された実データによるトレーニングに匹敵する、あるいは時折優れ、現実世界の極低照度写真に新たな扉を開く。

関連論文リスト

• Towards General Low-Light Raw Noise Synthesis and Modeling [37.87312467017369]
  生成モデルにより信号非依存ノイズを合成する新しい視点を導入する。 具体的には、信号に依存しないノイズと信号に依存しないノイズを物理と学習に基づく方法で合成する。 このようにして、本手法は一般的なモデルとみなすことができ、つまり、異なるISOレベルの異なるノイズ特性を同時に学習することができる。
  論文  参考訳（メタデータ） (2023-07-31T09:10:10Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• Robust Deep Ensemble Method for Real-world Image Denoising [62.099271330458066]
  そこで本研究では,実世界の画像認識のための単純なベイズディープアンサンブル(BDE)手法を提案する。 我々のBDEは、最先端の復調法よりも+0.28dBPSNRのゲインを達成している。 我々のBDEは他の画像復元タスクにも拡張でき、ベンチマークデータセット上で+0.30dB、+0.18dB、+0.12dB PSNRゲインを達成することができる。
  論文  参考訳（メタデータ） (2022-06-08T06:19:30Z)
• Noise2NoiseFlow: Realistic Camera Noise Modeling without Clean Images [35.29066692454865]
  本稿では,ノイズモデルとデノイザを同時にトレーニングするためのフレームワークを提案する。 ノイズ/クリーンなペア画像データではなく、ノイズの多いイメージのペアに依存します。 トレーニングされたデノイザーは、教師付きおよび弱教師付きベースラインデノイジングアプローチの両方において、大幅に改善される。
  論文  参考訳（メタデータ） (2022-06-02T15:31:40Z)
• Estimating Fine-Grained Noise Model via Contrastive Learning [11.626812663592416]
  本稿では,現実的な雑音画像生成のための革新的なノイズモデル推定とノイズ合成パイプラインを提案する。 本モデルでは, 微粒な統計的雑音モデルを用いた雑音推定モデルについて, 対照的に学習する。 いくつかのセンサのノイズモデルを校正することで、我々のモデルは他のカメラを予測できるように拡張することができる。
  論文  参考訳（メタデータ） (2022-04-03T02:35:01Z)
• Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
  本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。 トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。 AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-03-24T18:11:31Z)
• Rethinking Noise Synthesis and Modeling in Raw Denoising [75.55136662685341]
  センサの実際の雑音を直接サンプリングすることで、ノイズを合成する新しい視点を導入する。 それは本質的に、異なるカメラセンサーに対して正確な生画像ノイズを発生させる。
  論文  参考訳（メタデータ） (2021-10-10T10:45:24Z)
• A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising [34.98772175073111]
  CMOS光センサの特性に基づく高精度なノイズ生成モデルを提案する。 また,現代のデジタルカメラにおけるノイズパラメータの校正手法を提案する。
  論文  参考訳（メタデータ） (2020-03-28T09:16:48Z)
• Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
  ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。 本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
  論文  参考訳（メタデータ） (2019-08-29T15:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。