論文の概要: ShadowDiffusion: Diffusion-based Shadow Removal using Classifier-driven
Attention and Structure Preservation
- arxiv url: http://arxiv.org/abs/2211.08089v1
- Date: Tue, 15 Nov 2022 12:15:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:01:30.689308
- Title: ShadowDiffusion: Diffusion-based Shadow Removal using Classifier-driven
Attention and Structure Preservation
- Title（参考訳）: shadowdiffusion:分類器による注意と構造保存による拡散型シャドウ除去
- Authors: Yeying Jin, Wenhan Yang, Wei Ye, Yuan Yuan and Robby T. Tan
- Abstract要約: 拡散に基づく最初のシャドウ除去法であるシャドウ拡散について述べる。
ソフトシャドウやセルフシャドウの存在下でも、シングルイメージのシャドウ除去に焦点を当てている。
本手法は,SRDデータセット上の画像全体のRMSEの20%でSOTA法より優れる。
- 参考スコア（独自算出の注目度）: 62.50626317810854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Shadow removal from a single image is challenging, particularly with the
presence of soft and self shadows. Unlike hard shadows, soft shadows do not
show any clear boundaries, while self shadows are shadows that cast on the
object itself. Most existing methods require the detection/annotation of binary
shadow masks, without taking into account the ambiguous boundaries of soft and
self shadows. Most deep learning shadow removal methods are GAN-based and
require statistical similarity between shadow and shadow-free domains. In
contrast to these methods, in this paper, we present ShadowDiffusion, the first
diffusion-based shadow removal method. ShadowDiffusion focuses on single-image
shadow removal, even in the presence of soft and self shadows. To guide the
diffusion process to recover semantically meaningful structures during the
reverse diffusion, we introduce a structure preservation loss, where we extract
features from the pre-trained Vision Transformer (DINO-ViT). Moreover, to focus
on the recovery of shadow regions, we inject classifier-driven attention into
the architecture of the diffusion model. To maintain the consistent colors of
the regions where the shadows have been removed, we introduce a chromaticity
consistency loss. Our ShadowDiffusion outperforms state-of-the-art methods on
the SRD, AISTD, LRSS, USR and UIUC datasets, removing hard, soft, and self
shadows robustly. Our method outperforms the SOTA method by 20% of the RMSE of
the whole image on the SRD dataset.
- Abstract（参考訳）: 単一の画像からのシャドウ除去は、特にソフトとセルフのシャドウの存在によって困難である。
ハードシャドウとは異なり、ソフトシャドウは明確な境界を示さず、セルフシャドウはオブジェクト自体に現れる影である。
既存の方法の多くは、ソフトシャドウとセルフシャドウの境界を曖昧に考慮せずに、バイナリシャドウマスクの検出/注釈を必要とする。
ほとんどの深層学習シャドウ除去法はganベースであり、シャドウフリードメインとシャドウフリードメインの統計的類似性を必要とする。
本稿では,これらの方法とは対照的に,最初の拡散に基づくシャドウ除去法であるshadowdiffusionを提案する。
ShadowDiffusionは、ソフトとセルフのシャドウの存在下でも、シングルイメージのシャドウ除去に焦点を当てている。
逆拡散中の意味的構造を復元する拡散過程を導出するために, 事前学習した視覚変換器(DINO-ViT)から特徴を抽出する構造保存損失を導入する。
さらに,影領域の回復に焦点をあてるために,拡散モデルのアーキテクチャに分類器駆動の注意を注入する。
シャドウが除去された領域の一貫した色を維持するため、色度一貫性の損失を導入する。
当社のShadowDiffusionは、SRD、AISTD、LRSS、USR、UIUCデータセットの最先端の手法より優れており、ハード、ソフト、セルフシャドウを堅牢に除去しています。
本手法は,SRDデータセット上の画像全体のRMSEの20%でSOTA法より優れる。
関連論文リスト
- MetaShadow: Object-Centered Shadow Detection, Removal, and Synthesis [64.00425120075045]
シャドウは画像編集アプリケーションでは過小評価されるか無視されることが多く、編集結果のリアリズムが制限される。
本稿では,自然画像中の影の検出・除去・制御が可能な3-in-one多元性フレームワークであるMetaShadowを紹介する。
論文 参考訳（メタデータ） (2024-12-03T18:04:42Z) - Shadow Removal Refinement via Material-Consistent Shadow Edges [33.8383848078524]
同じ材料で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。
画像セグメンテーション基盤モデルであるSAMを微調整し、影不変セグメンテーションを生成し、材料一貫性のあるシャドウエッジを抽出する。
本手法は,より難易度の高い画像に対して,影除去結果の改善に有効であることを示す。
論文 参考訳（メタデータ） (2024-09-10T20:16:28Z) - Progressive Recurrent Network for Shadow Removal [99.1928825224358]
シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。
既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。
本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
論文 参考訳（メタデータ） (2023-11-01T11:42:45Z) - Learning Restoration is Not Enough: Transfering Identical Mapping for
Single-Image Shadow Removal [19.391619888009064]
最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。
2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。
本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
論文 参考訳（メタデータ） (2023-05-18T01:36:23Z) - Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。
HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
論文 参考訳（メタデータ） (2022-12-08T06:52:52Z) - DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using
Unsupervised Domain-Classifier Guided Network [28.6541488555978]
教師なしドメイン分類器ガイド付きシャドー除去ネットワークDC-ShadowNetを提案する。
物理に基づく無影色度, シャドウロスの知覚的特徴, 境界の滑らかさに基づく新しい損失を導入した。
実験の結果,これらすべての新しいコンポーネントは,ソフトシャドウの処理だけでなく,ハードシャドウの処理にも有効であることがわかった。
論文 参考訳（メタデータ） (2022-07-21T12:04:16Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳（メタデータ） (2022-05-10T14:00:48Z) - R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。
本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。
提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文 参考訳（メタデータ） (2021-09-20T15:09:22Z) - Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
陰影除去のための新しい深層学習法を提案する。
影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。
最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
論文 参考訳（メタデータ） (2020-12-23T23:06:38Z) - From Shadow Segmentation to Shadow Removal [34.762493656937366]
シャドウとシャドウフリーの画像のペアの必要性は、シャドウ除去データセットのサイズと多様性を制限している。
本研究では,影画像から抽出した陰影と非陰影パッチのみを用いて,陰影除去法を提案する。
論文 参考訳（メタデータ） (2020-08-01T14:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。