論文の概要: LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models
- arxiv url: http://arxiv.org/abs/2312.01027v3
- Date: Wed, 20 Mar 2024 03:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 22:08:02.192366
- Title: LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models
- Title（参考訳）: LDM-ISP:潜時拡散モデルによる低光に対するニューラルISPの強化
- Authors: Qiang Wen, Yazhou Xing, Zhefan Rao, Qifeng Chen,
- Abstract要約: 本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
- 参考スコア（独自算出の注目度）: 54.93010869546011
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enhancing a low-light noisy RAW image into a well-exposed and clean sRGB image is a significant challenge for modern digital cameras. Prior approaches have difficulties in recovering fine-grained details and true colors of the scene under extremely low-light environments due to near-to-zero SNR. Meanwhile, diffusion models have shown significant progress towards general domain image generation. In this paper, we propose to leverage the pre-trained latent diffusion model to perform the neural ISP for enhancing extremely low-light images. Specifically, to tailor the pre-trained latent diffusion model to operate on the RAW domain, we train a set of lightweight taming modules to inject the RAW information into the diffusion denoising process via modulating the intermediate features of UNet. We further observe different roles of UNet denoising and decoder reconstruction in the latent diffusion model, which inspires us to decompose the low-light image enhancement task into latent-space low-frequency content generation and decoding-phase high-frequency detail maintenance. Through extensive experiments on representative datasets, we demonstrate our simple design not only achieves state-of-the-art performance in quantitative evaluations but also shows significant superiority in visual comparisons over strong baselines, which highlight the effectiveness of powerful generative priors for neural ISP under extremely low-light environments. The project page is available at https://csqiangwen.github.io/projects/ldm-isp/
- Abstract（参考訳）: 低照度RAW画像をよく露出したクリーンなsRGB画像に拡張することは、現代のデジタルカメラにとって重要な課題である。
従来の手法では, SNR に近いため, 極めて低照度環境下でのシーンの細部や色を再現することが困難であった。
一方,拡散モデルは一般領域画像生成に大きく進展している。
本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するための事前学習された潜伏拡散モデルを調整するために、RAW情報をUNetの中間特性を変調して拡散復調プロセスに注入する軽量なテーミングモジュールのセットを訓練する。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
代表的データセットに関する広範な実験を通じて、定量的評価において最先端の性能を達成するだけでなく、非常に低照度環境下でのニューラルISPの強力な生成先行効果を示す強力なベースラインよりも視覚的比較において大きな優位性を示す。
プロジェクトページはhttps://csqiangwen.github.io/projects/ldm-isp/で公開されている。
関連論文リスト
- Unsupervised Low-light Image Enhancement with Lookup Tables and Diffusion Priors [38.96909959677438]
低照度画像強調(LIE)は、低照度環境において劣化した画像を高精度かつ効率的に回収することを目的としている。
近年の先進的なLIE技術は、多くの低正規の光画像対、ネットワークパラメータ、計算資源を必要とするディープニューラルネットワークを使用している。
拡散先行とルックアップテーブルに基づく新しい非教師付きLIEフレームワークを考案し,低照度画像の効率的な回復を実現する。
論文 参考訳（メタデータ） (2024-09-27T16:37:27Z) - ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。
提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。
提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文 参考訳（メタデータ） (2023-07-15T04:48:35Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T03:08:28Z) - Instance Segmentation in the Dark [43.85818645776587]
暗黒領域のインスタンスセグメンテーションを深く見て、低照度推論精度を大幅に向上させるテクニックをいくつか導入する。
本稿では,適応重み付きダウンサンプリング層,スムーズな指向性畳み込みブロック,外乱抑制学習に依存する新しい学習手法を提案する。
実世界の低照度インスタンスセグメンテーションデータセットを,2万組以上の低照度/通常照度画像と,インスタンスレベルのピクセル単位のアノテーションでキャプチャする。
論文 参考訳（メタデータ） (2023-04-27T16:02:29Z) - Denoising Diffusion Post-Processing for Low-Light Image Enhancement [0.0]
低照度画像強調(LLIE)技術は、低照度シナリオで撮影された画像の可視性を高める。
LLIE技術はノイズやカラーバイアスといった様々な画像劣化を導入している。
後処理のデノイザは広く使われており、細部が不明瞭な結果になることが多い。
低照度後処理拡散モデル(LPDM)を導入し,低露光画像と通常露光画像の条件分布をモデル化する。
論文 参考訳（メタデータ） (2023-03-16T20:06:55Z) - Seeing Through The Noisy Dark: Toward Real-world Low-Light Image
Enhancement and Denoising [125.56062454927755]
現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。
我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
論文 参考訳（メタデータ） (2022-10-02T14:57:23Z) - INFWIDE: Image and Feature Space Wiener Deconvolution Network for
Non-blind Image Deblurring in Low-Light Conditions [32.35378513394865]
画像と特徴空間Wener deconvolution Network (INFWIDE) と呼ばれる新しい非盲点分解法を提案する。
INFWIDEは、画像空間におけるノイズを除去し、飽和領域を幻覚し、特徴空間におけるリングアーティファクトを抑制する。
合成データと実データを用いた実験は,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-17T15:22:31Z) - Cycle-Interactive Generative Adversarial Network for Robust Unsupervised
Low-Light Enhancement [109.335317310485]
CIGAN(Cycle-Interactive Generative Adversarial Network)は、低照度画像間の照明分布の転送を改善できるだけでなく、詳細な信号も操作できる。
特に、提案した低照度誘導変換は、低照度GAN生成器から劣化GAN生成器へ、低照度画像の特徴をフォワードする。
論文 参考訳（メタデータ） (2022-07-03T06:37:46Z) - Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。
提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
論文 参考訳（メタデータ） (2020-05-06T13:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。