論文の概要: Reti-Diff: Illumination Degradation Image Restoration with Retinex-based
Latent Diffusion Model
- arxiv url: http://arxiv.org/abs/2311.11638v2
- Date: Sat, 9 Mar 2024 07:59:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 15:19:45.459042
- Title: Reti-Diff: Illumination Degradation Image Restoration with Retinex-based
Latent Diffusion Model
- Title(参考訳): Reti-Diff:Retinex-based Latent Diffusion Modelを用いた照明劣化画像復元
- Authors: Chunming He, Chengyu Fang, Yulun Zhang, Tian Ye, Kai Li, Longxiang
Tang, Zhenhua Guo, Xiu Li, Sina Farsiu
- Abstract要約: 照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。
これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。
我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。
Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
- 参考スコア(独自算出の注目度): 59.08821399652483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Illumination degradation image restoration (IDIR) techniques aim to improve
the visibility of degraded images and mitigate the adverse effects of
deteriorated illumination. Among these algorithms, diffusion model (DM)-based
methods have shown promising performance but are often burdened by heavy
computational demands and pixel misalignment issues when predicting the
image-level distribution. To tackle these problems, we propose to leverage DM
within a compact latent space to generate concise guidance priors and introduce
a novel solution called Reti-Diff for the IDIR task. Reti-Diff comprises two
key components: the Retinex-based latent DM (RLDM) and the Retinex-guided
transformer (RGformer). To ensure detailed reconstruction and illumination
correction, RLDM is empowered to acquire Retinex knowledge and extract
reflectance and illumination priors. These priors are subsequently utilized by
RGformer to guide the decomposition of image features into their respective
reflectance and illumination components. Following this, RGformer further
enhances and consolidates the decomposed features, resulting in the production
of refined images with consistent content and robustness to handle complex
degradation scenarios. Extensive experiments show that Reti-Diff outperforms
existing methods on three IDIR tasks, as well as downstream applications. Code
will be available at \url{https://github.com/ChunmingHe/Reti-Diff}.
- Abstract(参考訳): 照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。
これらのアルゴリズムのうち、拡散モデル(dm)に基づく手法は有望な性能を示してきたが、画像レベルの分布を予測する際の計算量や画素不一致の問題にしばしば負担される。
このような問題に対処するために,我々はコンパクトな潜伏空間内でDMを活用して簡潔な誘導先を生成することを提案し,IDIRタスクのためのReti-Diffと呼ばれる新しい解を提案する。
Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RGformer) の2つの重要なコンポーネントから構成される。
詳細な復元と照明補正を確保するため、RLDMはRetinexの知識を取得し、反射率と照明前の情報を抽出する権限を有する。
これらの先行情報は、RGformerによって画像特徴の分解をそれぞれの反射率と照明成分に導くために利用される。
その後、RGformerは分解された特徴をさらに強化し、強化し、複雑な劣化シナリオを扱うために、一貫したコンテンツと堅牢性を備えた精細な画像を生成する。
大規模な実験により、Reti-Diffは3つのIDIRタスクや下流アプリケーションにおいて既存の手法よりも優れていることが示された。
コードは \url{https://github.com/ChunmingHe/Reti-Diff} で入手できる。
関連論文リスト
- HIR-Diff: Unsupervised Hyperspectral Image Restoration Via Improved
Diffusion Models [38.74983301496911]
ハイパースペクトル画像(HSI)の復元は、劣化した観察からクリーンなイメージを復元することを目的としている。
既存のモデルに基づく手法は、複雑な画像の特徴を正確にモデル化するのに限界がある。
本稿では,事前学習拡散モデル(HIR-Diff)を用いた教師なしHSI復元フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-24T17:15:05Z) - ReCo-Diff: Explore Retinex-Based Condition Strategy in Diffusion Model
for Low-Light Image Enhancement [70.10216029444543]
低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。
Reco-DiffはRetinexベースの事前処理を付加的な前処理条件として組み込んだ新しいアプローチである。
論文 参考訳(メタデータ) (2023-12-20T08:05:57Z) - Latent Diffusion Prior Enhanced Deep Unfolding for Spectral Image
Reconstruction [19.1301471218022]
スナップショット分光画像再構成は、単発2次元圧縮計測から3次元空間スペクトル像を再構成することを目的としている。
我々は, 深部展開法に先立って劣化のないモデルを生成するため, 遅延拡散モデル(LDM)という生成モデルを導入する。
論文 参考訳(メタデータ) (2023-11-24T04:55:20Z) - Diff-Retinex: Rethinking Low-light Image Enhancement with A Generative
Diffusion Model [28.762205397922294]
Diff-Retinexと呼ばれる低照度画像強調のための物理的に説明可能な生成拡散モデルを提案する。
In the Retinex decomposition, we integrated the superiority of attention in Transformer to decompose the image into illumination and reflectance map。
そこで我々は,正規光レチネックス確率分布を再構成する多経路生成拡散ネットワークを設計し,各成分の様々な劣化を解消する。
論文 参考訳(メタデータ) (2023-08-25T04:03:41Z) - Enhancing Low-light Light Field Images with A Deep Compensation
Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - LLDiffusion: Learning Degradation Representations in Diffusion Models
for Low-Light Image Enhancement [118.83316133601319]
現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。
本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
論文 参考訳(メタデータ) (2023-07-27T07:22:51Z) - RBSR: Efficient and Flexible Recurrent Network for Burst
Super-Resolution [57.98314517861539]
バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。
本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
論文 参考訳(メタデータ) (2023-06-30T12:14:13Z) - Bridging Component Learning with Degradation Modelling for Blind Image
Super-Resolution [69.11604249813304]
視覚障害者のためのコンポーネント分解・協調最適化ネットワーク(CDCN)を提案する。
CDCNは入力LR画像を特徴空間の構造と詳細成分に分解する。
本稿では,HR画像の細部と構造復元過程を協調的に監督する,劣化駆動型学習戦略を提案する。
論文 参考訳(メタデータ) (2022-12-03T14:53:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。