論文の概要: Shadow Removal by High-Quality Shadow Synthesis
- arxiv url: http://arxiv.org/abs/2212.04108v1
- Date: Thu, 8 Dec 2022 06:52:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 15:43:27.953882
- Title: Shadow Removal by High-Quality Shadow Synthesis
- Title(参考訳): 高品質シャドウ合成によるシャドウ除去
- Authors: Yunshan Zhong, Mingbao Lin, Lizhou You, Yuxin Zhang, Luoqi Liu,
Rongrong Ji
- Abstract要約: HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。
HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
- 参考スコア(独自算出の注目度): 70.3837800783288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most shadow removal methods rely on the invasion of training images
associated with laborious and lavish shadow region annotations, leading to the
increasing popularity of shadow image synthesis. However, the poor performance
also stems from these synthesized images since they are often
shadow-inauthentic and details-impaired. In this paper, we present a novel
generation framework, referred to as HQSS, for high-quality pseudo shadow image
synthesis. The given image is first decoupled into a shadow region identity and
a non-shadow region identity. HQSS employs a shadow feature encoder and a
generator to synthesize pseudo images. Specifically, the encoder extracts the
shadow feature of a region identity which is then paired with another region
identity to serve as the generator input to synthesize a pseudo image. The
pseudo image is expected to have the shadow feature as its input shadow feature
and as well as a real-like image detail as its input region identity. To
fulfill this goal, we design three learning objectives. When the shadow feature
and input region identity are from the same region identity, we propose a
self-reconstruction loss that guides the generator to reconstruct an identical
pseudo image as its input. When the shadow feature and input region identity
are from different identities, we introduce an inter-reconstruction loss and a
cycle-reconstruction loss to make sure that shadow characteristics and detail
information can be well retained in the synthesized images. Our HQSS is
observed to outperform the state-of-the-art methods on ISTD dataset, Video
Shadow Removal dataset, and SRD dataset. The code is available at
https://github.com/zysxmu/HQSS.
- Abstract(参考訳): ほとんどのシャドウ除去手法は、精巧で豪華なシャドウ領域アノテーションに関連するトレーニング画像の侵入に依存しているため、シャドウ画像合成の人気が高まっている。
しかし、これらの合成画像は、しばしば陰性で細部が不完全であるため、性能が劣っている。
本稿では,高品質擬似影画像合成のためのhqssと呼ばれる新しい生成フレームワークを提案する。
与えられた画像はまずシャドー領域idと非シャドー領域idに分離される。
HQSSは擬似画像を合成するためにシャドー機能エンコーダとジェネレータを使用している。
具体的には、エンコーダは、他の領域アイデンティティとペアになって擬似画像を合成するジェネレータ入力として機能する領域アイデンティティの影特徴を抽出する。
擬似画像は、その入力影特徴としての影特徴と、その入力領域のアイデンティティとしてのリアルライクな画像詳細を有することが期待されている。
この目標を達成するために,我々は3つの学習目標を設計する。
影の特徴と入力領域のアイデンティティが同じ領域の同一性を持つ場合、生成元を誘導して同一の擬似画像を入力として再構成する自己再構成損失を提案する。
シャドウ特徴と入力領域の同一性が異なる場合、合成画像中にシャドウ特性と詳細情報が適切に保持されることを確認するために、再構成間損失とサイクル再構成損失を導入する。
我々のHQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットにおいて最先端の手法よりも優れています。
コードはhttps://github.com/zysxmu/hqssで入手できる。
関連論文リスト
- Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳(メタデータ) (2024-07-11T20:58:38Z) - Learning Restoration is Not Enough: Transfering Identical Mapping for
Single-Image Shadow Removal [19.391619888009064]
最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。
2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。
本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
論文 参考訳(メタデータ) (2023-05-18T01:36:23Z) - ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳(メタデータ) (2023-02-03T10:54:52Z) - ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document
Shadow Removal [53.01990632289937]
本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。
シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
論文 参考訳(メタデータ) (2022-11-30T01:46:29Z) - DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT Similarity [54.831083157152136]
本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。
提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
論文 参考訳(メタデータ) (2022-11-15T12:15:29Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳(メタデータ) (2022-05-10T14:00:48Z) - CANet: A Context-Aware Network for Shadow Removal [27.73332935893127]
本稿では,影除去のためのコンテキスト認識ネットワークCANetを提案する。
非シャドウ領域からのコンテキスト情報は、埋め込み特徴空間の影領域に転送される。
提案したCANetを,2つのベンチマークデータセットと,複雑なシーンを持つ実世界の影画像を用いて評価した。
論文 参考訳(メタデータ) (2021-08-23T02:05:52Z) - Learning from Synthetic Shadows for Shadow Detection and Removal [43.53464469097872]
最近のシャドウ除去は、実対のシャドウ/シャドウフリーまたはシャドウ/シャドウ/マスクイメージデータセット上のすべてのトレイン畳み込みニューラルネットワーク(CNN)にアプローチしている。
今回紹介するSynShadowは、新しい大規模合成影/影なし/マット画像トリプレットデータセットと合成パイプラインである。
論文 参考訳(メタデータ) (2021-01-05T18:56:34Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳(メタデータ) (2020-10-22T11:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。