論文の概要: NM-FlowGAN: Modeling sRGB Noise without Paired Images using a Hybrid Approach of Normalizing Flows and GAN

• arxiv url: http://arxiv.org/abs/2312.10112v3
• Date: Thu, 31 Oct 2024 12:19:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:22.322811
• Title: NM-FlowGAN: Modeling sRGB Noise without Paired Images using a Hybrid Approach of Normalizing Flows and GAN
• Title（参考訳）: NM-FlowGAN:正規化フローとGANのハイブリッドアプローチによるペア画像のないSRGBノイズのモデル化
• Authors: Young Joo Han, Ha-Jin Yu,
• Abstract要約: NM-FlowGANは、GANと正規化フローの両方の長所を利用するハイブリッドアプローチである。 本手法は, カメラタイプやISO設定などの手軽に取得可能なパラメータなど, クリーンな画像とノイズ特性に影響を与える要因を用いてノイズを合成する。 我々のNM-FlowGANは、sRGBノイズ合成タスクにおいて、他のベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 9.81778202920426
• License:
• Abstract: Modeling and synthesizing real sRGB noise is crucial for various low-level vision tasks, such as building datasets for training image denoising systems. The distribution of real sRGB noise is highly complex and affected by a multitude of factors, making its accurate modeling extremely challenging. Therefore, recent studies have proposed methods that employ data-driven generative models, such as Generative Adversarial Networks (GAN) and Normalizing Flows. These studies achieve more accurate modeling of sRGB noise compared to traditional noise modeling methods. However, there are performance limitations due to the inherent characteristics of each generative model. To address this issue, we propose NM-FlowGAN, a hybrid approach that exploits the strengths of both GAN and Normalizing Flows. We combine pixel-wise noise modeling networks based on Normalizing Flows and spatial correlation modeling networks based on GAN. Specifically, the pixel-wise noise modeling network leverages the high training stability of Normalizing Flows to capture noise characteristics that are affected by a multitude of factors, and the spatial correlation networks efficiently model pixel-to-pixel relationships. In particular, unlike recent methods that rely on paired noisy images, our method synthesizes noise using clean images and factors that affect noise characteristics, such as easily obtainable parameters like camera type and ISO settings, making it applicable to various fields where obtaining noisy-clean image pairs is not feasible. In our experiments, our NM-FlowGAN outperforms other baselines in the sRGB noise synthesis task. Moreover, the denoising neural network trained with synthesized image pairs from our model shows superior performance compared to other baselines. Our code is available at: \url{https://github.com/YoungJooHan/NM-FlowGAN}.
• Abstract（参考訳）: 実sRGBノイズのモデリングと合成は、画像認識システムのトレーニングのためのデータセットの構築など、さまざまな低レベルの視覚タスクに不可欠である。 実際のsRGBノイズの分布は非常に複雑で、様々な要因の影響を受けており、正確なモデリングは非常に困難である。 そこで近年,GAN(Generative Adversarial Networks)や正規化フローなど,データ駆動型生成モデルを用いた手法が提案されている。 これらの研究は従来のノイズモデリング法と比較してsRGBノイズのより正確なモデリングを実現する。 しかし、各生成モデル固有の特性のため、性能に制限がある。 この問題に対処するために,GANと正規化フローの双方の長所を生かしたハイブリッドアプローチであるNM-FlowGANを提案する。 我々は,正規化フローに基づく画素ワイドノイズモデリングネットワークと,GANに基づく空間相関モデルネットワークを組み合わせる。 具体的には、正規化フローの高訓練安定性を利用して、多数の要因に影響されるノイズ特性を捕捉し、空間相関ネットワークは、画素間関係を効率的にモデル化する。 特に,ペア画像に頼っている最近の手法とは違って,カメラタイプやISO設定などのノイズ特性に影響を及ぼす要因やクリーン画像を用いてノイズを合成することで,ノイズとクリーンな画像のペアの取得が不可能なさまざまな分野に適用することができる。 我々のNM-FlowGANは、sRGBノイズ合成タスクにおいて、他のベースラインよりも優れています。 さらに,本モデルから合成画像ペアを用いて学習したデノイングニューラルネットワークは,他のベースラインに比べて優れた性能を示した。 我々のコードは以下の通りである。

関連論文リスト

• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
  高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。 DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。 拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
  論文  参考訳（メタデータ） (2023-11-02T01:53:55Z)
• Towards General Low-Light Raw Noise Synthesis and Modeling [37.87312467017369]
  生成モデルにより信号非依存ノイズを合成する新しい視点を導入する。 具体的には、信号に依存しないノイズと信号に依存しないノイズを物理と学習に基づく方法で合成する。 このようにして、本手法は一般的なモデルとみなすことができ、つまり、異なるISOレベルの異なるノイズ特性を同時に学習することができる。
  論文  参考訳（メタデータ） (2023-07-31T09:10:10Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• Degradation-Noise-Aware Deep Unfolding Transformer for Hyperspectral Image Denoising [9.119226249676501]
  ハイパースペクトル画像(HSI)は、帯域幅が狭いため、ノイズが多いことが多い。 HSIデータキューブのノイズを低減するため、モデル駆動型と学習型の両方の復調アルゴリズムが提案されている。 本稿では,これらの問題に対処するDNA-Net(Degradation-Noise-Aware Unfolding Network)を提案する。
  論文  参考訳（メタデータ） (2023-05-06T13:28:20Z)
• Modeling sRGB Camera Noise with Normalizing Flows [35.29066692454865]
  各種ISOレベルにおけるsRGB画像の複雑な雑音分布を学習できる正規化フローに基づく新しいsRGB領域雑音モデルを提案する。 我々の正規化フローベースアプローチは、ノイズモデリングや合成タスクにおいて、他のモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-06-02T00:56:34Z)
• Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training [50.018580462619425]
  我々は,PNGAN(Pixel-level Noise-aware Generative Adrial Network)という新しいフレームワークを提案する。 PNGANは、トレーニング済みのリアルデノイザーを使用して、フェイク画像とリアルノイズ画像をほぼノイズのないソリューション空間にマッピングする。 より優れたノイズフィッティングを実現するため,ジェネレータとしてSimple Multi-versa-scale Network (SMNet) を提案する。
  論文  参考訳（メタデータ） (2022-04-06T14:09:02Z)
• Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
  本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。 トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。 AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-03-24T18:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。