論文の概要: A Generative Model for Digital Camera Noise Synthesis

• arxiv url: http://arxiv.org/abs/2303.09199v2
• Date: Fri, 17 Mar 2023 09:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-20 10:53:31.312384
• Title: A Generative Model for Digital Camera Noise Synthesis
• Title（参考訳）: デジタルカメラノイズ合成のための生成モデル
• Authors: Mingyang Song, Yang Zhang, Tun\c{c} O. Ayd{\i}n, Elham Amin Mansour, Christopher Schroers
• Abstract要約: クリーンな特徴をガイダンスとして利用し,続いてネットワークにノイズ注入を行う効果的な生成モデルを提案する。 具体的には、ジェネレータはスキップ接続を持つUNetのような構造を踏襲するが、ダウンサンプリングやアップサンプリングは行わない。 提案手法は,カメラノイズを合成するための既存手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.025265901900962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noise synthesis is a challenging low-level vision task aiming to generate realistic noise given a clean image along with the camera settings. To this end, we propose an effective generative model which utilizes clean features as guidance followed by noise injections into the network. Specifically, our generator follows a UNet-like structure with skip connections but without downsampling and upsampling layers. Firstly, we extract deep features from a clean image as the guidance and concatenate a Gaussian noise map to the transition point between the encoder and decoder as the noise source. Secondly, we propose noise synthesis blocks in the decoder in each of which we inject Gaussian noise to model the noise characteristics. Thirdly, we propose to utilize an additional Style Loss and demonstrate that this allows better noise characteristics supervision in the generator. Through a number of new experiments, we evaluate the temporal variance and the spatial correlation of the generated noise which we hope can provide meaningful insights for future works. Finally, we show that our proposed approach outperforms existing methods for synthesizing camera noise.
• Abstract（参考訳）: ノイズ合成は、カメラの設定とともにクリーンな画像から現実的なノイズを生成することを目的とした、挑戦的な低レベルのビジョンタスクである。 そこで本研究では,クリーンな特徴をネットワークへのノイズ注入のガイダンスとして利用する効果的な生成モデルを提案する。 具体的には,unetライクな構造でスキップ接続を行うが,ダウンサンプリングやアップサンプリングは行わない。 まず、クリーン画像から深い特徴を誘導として抽出し、ガウスノイズマップをノイズ源としてエンコーダとデコーダ間の遷移点に結合する。 次に,雑音特性をモデル化するためにガウス雑音を注入するデコーダ内の雑音合成ブロックを提案する。 第3に,追加のStyle Lossを用いることで,発電機の騒音特性の監視性を向上させることを提案する。 新たな実験を複数実施し,音の時間的ばらつきと空間的相関について検討し,今後の研究に有意義な知見を与えることを期待する。 最後に,提案手法は既存のカメラノイズ合成手法よりも優れていることを示す。

関連論文リスト

• The Crystal Ball Hypothesis in diffusion models: Anticipating object positions from initial noise [92.53724347718173]
  拡散モデルはテキスト・画像生成タスクにおいて顕著な成功を収めた。 我々は、初期ノイズ画像内の特定の領域をトリガーパッチと呼び、結果として発生する画像のオブジェクト生成に重要な役割を果たす。
  論文  参考訳（メタデータ） (2024-06-04T05:06:00Z)
• Towards General Low-Light Raw Noise Synthesis and Modeling [37.87312467017369]
  生成モデルにより信号非依存ノイズを合成する新しい視点を導入する。 具体的には、信号に依存しないノイズと信号に依存しないノイズを物理と学習に基づく方法で合成する。 このようにして、本手法は一般的なモデルとみなすことができ、つまり、異なるISOレベルの異なるノイズ特性を同時に学習することができる。
  論文  参考訳（メタデータ） (2023-07-31T09:10:10Z)
• NoiseTransfer: Image Noise Generation with Contrastive Embeddings [9.322843611215486]
  本稿では,複数のノイズ分布を持つ雑音像を合成できる新しい生成モデルを提案する。 我々は、雑音の識別可能な潜在特徴を学習するために、最近のコントラスト学習を採用する。 本モデルでは,単一の基準雑音画像からのみノイズ特性を伝達することにより,新しい雑音画像を生成することができる。
  論文  参考訳（メタデータ） (2023-01-31T11:09:15Z)
• Noise2NoiseFlow: Realistic Camera Noise Modeling without Clean Images [35.29066692454865]
  本稿では,ノイズモデルとデノイザを同時にトレーニングするためのフレームワークを提案する。 ノイズ/クリーンなペア画像データではなく、ノイズの多いイメージのペアに依存します。 トレーニングされたデノイザーは、教師付きおよび弱教師付きベースラインデノイジングアプローチの両方において、大幅に改善される。
  論文  参考訳（メタデータ） (2022-06-02T15:31:40Z)
• Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training [50.018580462619425]
  我々は,PNGAN(Pixel-level Noise-aware Generative Adrial Network)という新しいフレームワークを提案する。 PNGANは、トレーニング済みのリアルデノイザーを使用して、フェイク画像とリアルノイズ画像をほぼノイズのないソリューション空間にマッピングする。 より優れたノイズフィッティングを実現するため,ジェネレータとしてSimple Multi-versa-scale Network (SMNet) を提案する。
  論文  参考訳（メタデータ） (2022-04-06T14:09:02Z)
• Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
  本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。 トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。 AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-03-24T18:11:31Z)
• C2N: Practical Generative Noise Modeling for Real-World Denoising [53.96391787869974]
  両例を使わずに複雑な実世界の騒音を模倣するクリーン・ツー・ノイズ画像生成フレームワーク,すなわちC2Nを導入する。 我々は,C2Nの騒音発生器を実世界の騒音特性の成分に応じて構築し,広い範囲の騒音を正確に表現する。
  論文  参考訳（メタデータ） (2022-02-19T05:53:46Z)
• Dual Adversarial Network: Toward Real-world Noise Removal and Noise Generation [52.75909685172843]
  実世界の画像ノイズ除去は、コンピュータビジョンにおける長年の課題である。 本稿では,ノイズ除去およびノイズ発生タスクに対処する新しい統合フレームワークを提案する。 本手法はクリーンノイズ画像対の連成分布を学習する。
  論文  参考訳（メタデータ） (2020-07-12T09:16:06Z)
• Reconstructing the Noise Manifold for Image Denoising [56.562855317536396]
  本稿では,画像ノイズ空間の構造を明示的に活用するcGANを提案する。 画像ノイズの低次元多様体を直接学習することにより、この多様体にまたがる情報のみをノイズ画像から除去する。 我々の実験に基づいて、我々のモデルは既存の最先端アーキテクチャを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-02-11T00:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。