論文の概要: Difflare: Removing Image Lens Flare with Latent Diffusion Model
- arxiv url: http://arxiv.org/abs/2407.14746v1
- Date: Sat, 20 Jul 2024 04:36:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 21:04:01.098208
- Title: Difflare: Removing Image Lens Flare with Latent Diffusion Model
- Title（参考訳）: Difflare: 遅延拡散モデルによる画像レンズフレアの除去
- Authors: Tianwen Zhou, Qihao Duan, Zitong Yu,
- Abstract要約: レンズフレア除去のための新しいアプローチであるDifflareを紹介する。
PTDM(Pre-Trained Diffusion Models)による事前学習を活用するために,トレーニング可能な構造誘導モジュール(Structure Guidance Injection Module, SGIM)を導入する。
遅延圧縮による情報損失に対処するために,適応的特徴融合モジュール(AFFM)を導入する。
- 参考スコア（独自算出の注目度）: 19.022105366814078
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recovery of high-quality images from images corrupted by lens flare presents a significant challenge in low-level vision. Contemporary deep learning methods frequently entail training a lens flare removing model from scratch. However, these methods, despite their noticeable success, fail to utilize the generative prior learned by pre-trained models, resulting in unsatisfactory performance in lens flare removal. Furthermore, there are only few works considering the physical priors relevant to flare removal. To address these issues, we introduce Difflare, a novel approach designed for lens flare removal. To leverage the generative prior learned by Pre-Trained Diffusion Models (PTDM), we introduce a trainable Structural Guidance Injection Module (SGIM) aimed at guiding the restoration process with PTDM. Towards more efficient training, we employ Difflare in the latent space. To address information loss resulting from latent compression and the stochastic sampling process of PTDM, we introduce an Adaptive Feature Fusion Module (AFFM), which incorporates the Luminance Gradient Prior (LGP) of lens flare to dynamically regulate feature extraction. Extensive experiments demonstrate that our proposed Difflare achieves state-of-the-art performance in real-world lens flare removal, restoring images corrupted by flare with improved fidelity and perceptual quality. The codes will be released soon.
- Abstract（参考訳）: レンズフレアで劣化した画像から高画質の画像の復元は、低レベルの視覚において大きな課題となる。
現代のディープラーニング手法では、レンズフレア除去モデルをスクラッチからトレーニングすることが多い。
しかし、これらの手法は、顕著な成功にもかかわらず、事前訓練されたモデルによって学習された生成的事前学習を活用できず、レンズフレア除去において不満足な性能をもたらす。
また、フレア除去に関係した物理的先入観を考慮に入れた作品は少ない。
これらの問題に対処するために、レンズフレア除去のための新しいアプローチであるDifflareを紹介する。
PTDM (Pre-Trained Diffusion Models, PTDM) による事前学習を活用するために, PTDMによる修復プロセスの指導を目的としたトレーニング可能な構造誘導モジュール (Structure Guidance Injection Module, SGIM) を導入する。
より効率的なトレーニングに向けて、私たちは潜伏空間でDifflareを採用しています。
PTDMの遅延圧縮と確率的サンプリングによる情報損失を解決するために,レンズフレアの輝度勾配優先(LGP)を組み込んだ適応的特徴融合モジュール(AFFM)を導入し,特徴抽出を動的に制御する。
広汎な実験により、提案したDifflareは、現実世界のレンズフレア除去における最先端の性能を達成し、フレアによる画像の復元と、忠実度の向上と知覚品質の向上を実証した。
コードも間もなく公開される予定だ。
関連論文リスト
- Investigating and Defending Shortcut Learning in Personalized Diffusion Models [16.569765598914152]
ショートカット学習のレンズを通して、パーソナライズされた拡散モデルの微調整過程を詳しく調べる。
この微調整時のミスアライメントは、モデルがノイズパターンと識別子を関連付ける原因となり、性能が低下する。
提案手法は,まず画像に固有の意味的意味を潜時空間で認識する。
論文 参考訳（メタデータ） (2024-06-27T07:14:14Z) - Ambient Diffusion Posterior Sampling: Solving Inverse Problems with
Diffusion Models trained on Corrupted Data [56.81246107125692]
Ambient Diffusion Posterior Smpling (A-DPS) は、ある種類の腐敗に対して事前訓練された生成モデルである。
A-DPSは、いくつかの画像復元タスクにおいて、クリーンなデータで訓練されたモデルよりも、速度と性能の両方で優れていることが示される。
我々はAmbient Diffusionフレームワークを拡張して、FourierサブサンプルのマルチコイルMRI測定にのみアクセスしてMRIモデルをトレーニングする。
論文 参考訳（メタデータ） (2024-03-13T17:28:20Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳（メタデータ） (2023-08-31T04:58:17Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - Learning A Coarse-to-Fine Diffusion Transformer for Image Restoration [39.071637725773314]
画像復元のための粗大な拡散変換器(C2F-DFT)を提案する。
C2F-DFTは拡散自己注意(DFSA)と拡散フィードフォワードネットワーク(DFN)を含んでいる
粗い訓練段階において,我々のC2F-DFTはノイズを推定し,サンプリングアルゴリズムにより最終クリーン画像を生成する。
論文 参考訳（メタデータ） (2023-08-17T01:59:59Z) - LLDiffusion: Learning Degradation Representations in Diffusion Models
for Low-Light Image Enhancement [118.83316133601319]
現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。
本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
論文 参考訳（メタデータ） (2023-07-27T07:22:51Z) - Toward Real Flare Removal: A Comprehensive Pipeline and A New Benchmark [12.1632995709273]
本稿では,フレア劣化を伴うデータペア生成手法を提案する。
散乱フレアの類似性と反射ゴーストの対称効果を実現する。
また,散乱と反射フレアの影響をそれぞれ処理する実写パイプラインを構築した。
論文 参考訳（メタデータ） (2023-06-28T02:57:25Z) - ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow
Removal [74.86415440438051]
画像と劣化先行情報を統合した統合拡散フレームワークを提案する。
SRDデータセット上でのPSNRは31.69dBから34.73dBへと大幅に向上した。
論文 参考訳（メタデータ） (2022-12-09T07:48:30Z) - AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using
Denoising Diffusion Probabilistic Models [64.24948495708337]
大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。
CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。
Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
論文 参考訳（メタデータ） (2022-08-24T03:13:04Z) - How to Train Neural Networks for Flare Removal [45.51943926089249]
ニューラルネットワークをトレーニングして、初めてレンズフレアを取り除きます。
我々のデータ合成手法は正確なフレア除去に不可欠である。
我々の技術で訓練されたモデルは、様々なシーン、照明条件、カメラの実際のレンズフレアによく一般化される。
論文 参考訳（メタデータ） (2020-11-25T02:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。