論文の概要: Diff-Shadow: Global-guided Diffusion Model for Shadow Removal
- arxiv url: http://arxiv.org/abs/2407.16214v1
- Date: Tue, 23 Jul 2024 06:42:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 18:25:52.803602
- Title: Diff-Shadow: Global-guided Diffusion Model for Shadow Removal
- Title（参考訳）: Diff-Shadow: シャドー除去のためのグローバル誘導拡散モデル
- Authors: Jinting Luo, Ru Li, Chengzhi Jiang, Mingyan Han, Xiaoming Zhang, Ting Jiang, Haoqiang Fan, Shuaicheng Liu,
- Abstract要約: 高品質なシャドウ除去のためのグローバル誘導拡散モデルDiff-Shadowを提案する。
提案手法はPSNRにおいて,SRDデータセット上での32.33dBから33.69dBへと大きく向上する。
- 参考スコア（独自算出の注目度）: 46.41983327564438
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We propose Diff-Shadow, a global-guided diffusion model for high-quality shadow removal. Previous transformer-based approaches can utilize global information to relate shadow and non-shadow regions but are limited in their synthesis ability and recover images with obvious boundaries. In contrast, diffusion-based methods can generate better content but ignore global information, resulting in inconsistent illumination. In this work, we combine the advantages of diffusion models and global guidance to realize shadow-free restoration. Specifically, we propose a parallel UNets architecture: 1) the local branch performs the patch-based noise estimation in the diffusion process, and 2) the global branch recovers the low-resolution shadow-free images. A Reweight Cross Attention (RCA) module is designed to integrate global contextural information of non-shadow regions into the local branch. We further design a Global-guided Sampling Strategy (GSS) that mitigates patch boundary issues and ensures consistent illumination across shaded and unshaded regions in the recovered image. Comprehensive experiments on three publicly standard datasets ISTD, ISTD+, and SRD have demonstrated the effectiveness of Diff-Shadow. Compared to state-of-the-art methods, our method achieves a significant improvement in terms of PSNR, increasing from 32.33dB to 33.69dB on the SRD dataset. Codes will be released.
- Abstract（参考訳）: 高品質なシャドウ除去のためのグローバル誘導拡散モデルDiff-Shadowを提案する。
従来のトランスフォーマーベースのアプローチでは、グローバル情報を利用してシャドウ領域と非シャドウ領域を関連付けることができるが、その合成能力に制限があり、明確な境界を持つ画像を復元することができる。
対照的に、拡散に基づく手法はより良いコンテンツを生成することができるが、グローバルな情報を無視し、一貫性のない照明をもたらす。
本研究では,拡散モデルとグローバルガイダンスの利点を組み合わせて,影のない復元を実現する。
具体的には,並列UNetsアーキテクチャを提案する。
1)局所分岐は拡散過程においてパッチベースノイズ推定を行い,
2) グローバルブランチは低解像度のシャドウフリーイメージを復元する。
Reweight Cross Attention (RCA)モジュールは、非シャドウ領域のグローバルなコンテキスト情報をローカルブランチに統合するように設計されている。
我々はさらに,Global-Guided Sampling Strategy (GSS) を設計し,パッチ境界問題を緩和し,シェード領域とアンシェード領域における一貫した照明を確保する。
ISTD、ISTD+、SRDの3つの公開標準データセットに関する総合的な実験は、Diff-Shadowの有効性を実証した。
提案手法は最先端手法と比較してPSNRの大幅な改善を実現し,SRDデータセット上では32.33dBから33.69dBに増加した。
コードはリリースされる。
関連論文リスト
- Semantic-guided Adversarial Diffusion Model for Self-supervised Shadow Removal [5.083330121710086]
GANベースのトレーニングは、しばしばモード崩壊や不安定な最適化といった問題に直面している。
自己教師付きシャドウ除去のための意味誘導逆拡散フレームワークを提案する。
複数の公開データセットで実験を行い,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-07-01T09:14:38Z) - Digging into contrastive learning for robust depth estimation with diffusion models [55.62276027922499]
そこで我々はD4RDと呼ばれる新しい頑健な深度推定法を提案する。
複雑な環境での性能劣化を軽減するために、拡散モデルに適した独自のコントラスト学習モードを備えている。
実験では、D4RDは合成汚職データセットや現実世界の気象条件に関する最先端のソリューションを超越している。
論文 参考訳（メタデータ） (2024-04-15T14:29:47Z) - Latent Feature-Guided Diffusion Models for Shadow Removal [50.02857194218859]
本稿では,拡散過程における影領域の詳細を段階的に洗練する,有望なアプローチとして拡散モデルの利用を提案する。
シャドウフリー画像の特徴を継承する学習された潜在特徴空間を条件付けすることで,この処理を改善する。
AISTDデータセット上でRMSEを13%向上させる手法の有効性を示す。
論文 参考訳（メタデータ） (2023-12-04T18:59:55Z) - SDDNet: Style-guided Dual-layer Disentanglement Network for Shadow Detection [85.16141353762445]
入力シャドウ画像を背景層と影層の合成として扱い、これらの層を独立にモデル化するためのスタイル誘導デュアル層ディスタングルネットワークを設計する。
提案モデルは背景色による有害な効果を効果的に最小化し,32FPSのリアルタイム推論速度を持つ3つの公開データセットに対して優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-17T12:10:51Z) - ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳（メタデータ） (2023-02-03T10:54:52Z) - ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow
Removal [74.86415440438051]
画像と劣化先行情報を統合した統合拡散フレームワークを提案する。
SRDデータセット上でのPSNRは31.69dBから34.73dBへと大幅に向上した。
論文 参考訳（メタデータ） (2022-12-09T07:48:30Z) - CNSNet: A Cleanness-Navigated-Shadow Network for Shadow Removal [4.951051823391577]
シャドウマスクをベースとした,シャドウ指向適応正規化(SOAN)モジュールとトランスフォーマー(SAAT)モジュールを用いたシャドウ対応アグリゲーションを提案する。
シャドウマスクのガイダンスの下で、SOANモジュールは非シャドウ領域の統計を定式化し、それらを領域的な復元のためにシャドウ領域に適応的に適用する。
SAATモジュールは、シャドウフリー領域から高関連性の高い画素を考慮し、シャドウマスクを用いて各シャドウ画素の復元を正確にガイドする。
論文 参考訳（メタデータ） (2022-09-06T01:33:38Z) - Low Light Image Enhancement via Global and Local Context Modeling [164.85287246243956]
低照度画像強調のためのコンテキスト認識ディープネットワークを導入。
まず、全空間領域上の補完的な手がかりを見つけるために空間相関をモデル化するグローバルコンテキストモジュールを特徴とする。
第二に、比較的大きな受容フィールドで局所的なコンテキストをキャプチャする密な残留ブロックを導入する。
論文 参考訳（メタデータ） (2021-01-04T09:40:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。