論文の概要: Detail-Preserving Latent Diffusion for Stable Shadow Removal

• arxiv url: http://arxiv.org/abs/2412.17630v1
• Date: Mon, 23 Dec 2024 15:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:50.080218
• Title: Detail-Preserving Latent Diffusion for Stable Shadow Removal
• Title（参考訳）: 安定影除去のための深部保存潜伏拡散法
• Authors: Jiamin Xu, Yuxin Zheng, Zelong Li, Chi Wang, Renshu Gu, Weiwei Xu, Gang Xu,
• Abstract要約: 安定かつ効率的なシャドウ除去に安定拡散モデルを適用するための2段階微調整パイプラインを提案する。 実験の結果,提案手法は最先端のシャドウ除去技術より優れていた。
• 参考スコア（独自算出の注目度）: 24.18957090960958
• License:
• Abstract: Achieving high-quality shadow removal with strong generalizability is challenging in scenes with complex global illumination. Due to the limited diversity in shadow removal datasets, current methods are prone to overfitting training data, often leading to reduced performance on unseen cases. To address this, we leverage the rich visual priors of a pre-trained Stable Diffusion (SD) model and propose a two-stage fine-tuning pipeline to adapt the SD model for stable and efficient shadow removal. In the first stage, we fix the VAE and fine-tune the denoiser in latent space, which yields substantial shadow removal but may lose some high-frequency details. To resolve this, we introduce a second stage, called the detail injection stage. This stage selectively extracts features from the VAE encoder to modulate the decoder, injecting fine details into the final results. Experimental results show that our method outperforms state-of-the-art shadow removal techniques. The cross-dataset evaluation further demonstrates that our method generalizes effectively to unseen data, enhancing the applicability of shadow removal methods.
• Abstract（参考訳）: 複雑な世界照明のシーンでは,高画質のシャドウ除去を高い一般化性で達成することは困難である。 シャドウ除去データセットの多様性が限られているため、現在の方法はトレーニングデータに過度に適合する傾向があり、しばしば目に見えないケースのパフォーマンスが低下する。 これを解決するために,事前学習した安定拡散(SD)モデルの豊富な視覚的先行性を活用し,安定かつ効率的な影除去のためにSDモデルを適応するための2段階の微調整パイプラインを提案する。 第1段階では、VOEを固定し、遅延空間におけるデノイザーを微調整する。 これを解決するために,ディテールインジェクションステージと呼ばれる第2ステージを導入する。 この段階では、VAEエンコーダから特徴を選択的に抽出してデコーダを変調し、最終的な結果に詳細を注入する。 実験の結果,提案手法は最先端のシャドウ除去技術より優れていた。 さらに、クロスデータセット評価により、この手法は、見えないデータに効果的に一般化し、シャドウ除去法の適用性を高めることが示される。

関連論文リスト

• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Semantic-guided Adversarial Diffusion Model for Self-supervised Shadow Removal [5.083330121710086]
  GANベースのトレーニングは、しばしばモード崩壊や不安定な最適化といった問題に直面している。 自己教師付きシャドウ除去のための意味誘導逆拡散フレームワークを提案する。 複数の公開データセットで実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-07-01T09:14:38Z)
• DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery [71.6345505427213]
  DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
  論文  参考訳（メタデータ） (2024-04-01T18:59:13Z)
• Latent Feature-Guided Diffusion Models for Shadow Removal [50.02857194218859]
  本稿では,拡散過程における影領域の詳細を段階的に洗練する,有望なアプローチとして拡散モデルの利用を提案する。 シャドウフリー画像の特徴を継承する学習された潜在特徴空間を条件付けすることで,この処理を改善する。 AISTDデータセット上でRMSEを13%向上させる手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)
• Progressive Recurrent Network for Shadow Removal [99.1928825224358]
  シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。 既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。 本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
  論文  参考訳（メタデータ） (2023-11-01T11:42:45Z)
• Deshadow-Anything: When Segment Anything Model Meets Zero-shot shadow removal [8.555176637147648]
  画像シャドー除去を実現するために,大規模データセットの一般化を考慮したDeshadow-Anythingを開発した。 拡散モデルは画像の端やテクスチャに沿って拡散し、画像の詳細を保存しながら影を取り除くのに役立つ。 シャドウ除去タスクの実験では、これらの手法が画像復元性能を効果的に向上できることが示されている。
  論文  参考訳（メタデータ） (2023-09-21T01:35:13Z)
• SILT: Shadow-aware Iterative Label Tuning for Learning to Detect Shadows from Noisy Labels [53.30604926018168]
  本稿では,シャドウラベルのノイズを明示的に考慮し,自己学習で深層モデルを訓練する,シャドウ対応反復ラベルチューニングフレームワークSILTを提案する。 また,グローバルな局所融合とシャドウ・アウェア・フィルタリングを併用した簡易かつ効果的なラベルチューニング戦略を考案し,ノイズラベルの大幅な改善を図った。 その結果,SILTで訓練した単純なU-Netでさえ,最先端の手法を大きなマージンで上回ることができることがわかった。
  論文  参考訳（メタデータ） (2023-08-23T11:16:36Z)
• ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal [74.86415440438051]
  画像と劣化先行情報を統合した統合拡散フレームワークを提案する。 SRDデータセット上でのPSNRは31.69dBから34.73dBへと大幅に向上した。
  論文  参考訳（メタデータ） (2022-12-09T07:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。