論文の概要: Taming Latent Diffusion Models to See in the Dark

• arxiv url: http://arxiv.org/abs/2312.01027v1
• Date: Sat, 2 Dec 2023 04:31:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 19:40:43.444076
• Title: Taming Latent Diffusion Models to See in the Dark
• Title（参考訳）: 暗く見えるように潜伏拡散モデルを改ざんする
• Authors: Qiang Wen, Yazhou Xing, Qifeng Chen
• Abstract要約: LDM-SIDと呼ばれる新しい拡散モデルに基づく低光画像強調法(LLIE)を提案する。 低照度情報で供給されるテーピングモジュールは、拡散モデルにおける中間的特徴を変調するために、一対のアフィン変換パラメータを出力する。 また、入力されたRAW画像に2次元離散ウェーブレット変換を適用し、LLIEタスクを低周波コンテンツ生成と高周波ディテールメンテナンスの2つの必須部分に分割する。
• 参考スコア（独自算出の注目度）: 65.6004750218506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enhancing a low-light noisy RAW image into a well-exposed and clean sRGB image is a significant challenge in computational photography. Due to the limitation of large-scale paired data, prior approaches have difficulty in recovering fine details and true colors in extremely low-light regions. Meanwhile, recent advancements in generative diffusion models have shown promising generating capabilities, which inspires this work to explore generative priors from a diffusion model trained on a large-scale open-domain dataset to benefit the low-light image enhancement (LLIE) task. Based on this intention, we propose a novel diffusion-model-based LLIE method, dubbed LDM-SID. LDM-SID aims at inserting a set of proposed taming modules into a frozen pre-trained diffusion model to steer its generating process. Specifically, the taming module fed with low-light information serves to output a pair of affine transformation parameters to modulate the intermediate feature in the diffusion model. Additionally, based on the observation of dedicated generative priors across different portions of the diffusion model, we propose to apply 2D discrete wavelet transforms on the input RAW image, resulting in dividing the LLIE task into two essential parts: low-frequency content generation and high-frequency detail maintenance. This enables us to skillfully tame the diffusion model for optimized structural generation and detail enhancement. Extensive experiments demonstrate the proposed method not only achieves state-of-the-art performance in quantitative evaluations but also shows significant superiority in visual comparisons. These findings highlight the effectiveness of leveraging a pre-trained diffusion model as a generative prior to the LLIE task.
• Abstract（参考訳）: 低照度RAW画像をよく露出したクリーンなsRGB画像に拡張することは、計算写真において重要な課題である。 大規模なペアリングデータの制限のため、従来の手法では極低照度領域の細部や真の色を復元することが困難であった。 一方, 生成拡散モデルの最近の進歩は, 低照度画像強調(LLIE)タスクの恩恵を受けるために, 大規模オープンドメインデータセット上で訓練された拡散モデルから生成先行を探索するための有望な生成能力を示している。 そこで本研究では, LDM-SIDと呼ばれる拡散モデルに基づくLLIE法を提案する。 LDM-SIDは,提案するテーピングモジュールの集合を凍結した事前学習拡散モデルに挿入し,生成過程を制御することを目的としている。 具体的には、低照度情報によって供給されるテーミングモジュールは、拡散モデルにおける中間的特徴を変調するために、一対のアフィン変換パラメータを出力する。 さらに,拡散モデルの異なる部分にわたる専用生成前兆の観測に基づいて,入力生画像に2次元離散ウェーブレット変換を適用し,llieタスクを低周波コンテンツ生成と高周波細部維持という2つの必須部分に分割することを提案する。 これにより、構造生成と詳細な拡張を最適化するために拡散モデルを巧みに調整することができる。 提案手法は, 定量的評価において最先端の性能を得るだけでなく, 視覚的比較において有意な優位性を示す。 これらの結果から,LLIEタスクに先立って,事前学習した拡散モデルを利用した生成モデルの有効性が示唆された。

関連論文リスト

• Unsupervised Low-light Image Enhancement with Lookup Tables and Diffusion Priors [38.96909959677438]
  低照度画像強調(LIE)は、低照度環境において劣化した画像を高精度かつ効率的に回収することを目的としている。 近年の先進的なLIE技術は、多くの低正規の光画像対、ネットワークパラメータ、計算資源を必要とするディープニューラルネットワークを使用している。 拡散先行とルックアップテーブルに基づく新しい非教師付きLIEフレームワークを考案し,低照度画像の効率的な回復を実現する。
  論文  参考訳（メタデータ） (2024-09-27T16:37:27Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Instance Segmentation in the Dark [43.85818645776587]
  暗黒領域のインスタンスセグメンテーションを深く見て、低照度推論精度を大幅に向上させるテクニックをいくつか導入する。 本稿では,適応重み付きダウンサンプリング層,スムーズな指向性畳み込みブロック,外乱抑制学習に依存する新しい学習手法を提案する。 実世界の低照度インスタンスセグメンテーションデータセットを,2万組以上の低照度/通常照度画像と,インスタンスレベルのピクセル単位のアノテーションでキャプチャする。
  論文  参考訳（メタデータ） (2023-04-27T16:02:29Z)
• Denoising Diffusion Post-Processing for Low-Light Image Enhancement [0.0]
  低照度画像強調(LLIE)技術は、低照度シナリオで撮影された画像の可視性を高める。 LLIE技術はノイズやカラーバイアスといった様々な画像劣化を導入している。 後処理のデノイザは広く使われており、細部が不明瞭な結果になることが多い。 低照度後処理拡散モデル(LPDM)を導入し,低露光画像と通常露光画像の条件分布をモデル化する。
  論文  参考訳（メタデータ） (2023-03-16T20:06:55Z)
• Seeing Through The Noisy Dark: Toward Real-world Low-Light Image Enhancement and Denoising [125.56062454927755]
  現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。 我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
  論文  参考訳（メタデータ） (2022-10-02T14:57:23Z)
• INFWIDE: Image and Feature Space Wiener Deconvolution Network for Non-blind Image Deblurring in Low-Light Conditions [32.35378513394865]
  画像と特徴空間Wener deconvolution Network (INFWIDE) と呼ばれる新しい非盲点分解法を提案する。 INFWIDEは、画像空間におけるノイズを除去し、飽和領域を幻覚し、特徴空間におけるリングアーティファクトを抑制する。 合成データと実データを用いた実験は,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-17T15:22:31Z)
• Cycle-Interactive Generative Adversarial Network for Robust Unsupervised Low-Light Enhancement [109.335317310485]
  CIGAN(Cycle-Interactive Generative Adversarial Network)は、低照度画像間の照明分布の転送を改善できるだけでなく、詳細な信号も操作できる。 特に、提案した低照度誘導変換は、低照度GAN生成器から劣化GAN生成器へ、低照度画像の特徴をフォワードする。
  論文  参考訳（メタデータ） (2022-07-03T06:37:46Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。