論文の概要: Structure-Informed Shadow Removal Networks
- arxiv url: http://arxiv.org/abs/2301.03182v1
- Date: Mon, 9 Jan 2023 06:31:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 17:08:29.186402
- Title: Structure-Informed Shadow Removal Networks
- Title（参考訳）: 構造インフォームドシャドウ除去ネットワーク
- Authors: Yuhao Liu, Qing Guo, Lan Fu, Zhanghan Ke, Ke Xu, Wei Feng, Ivor W.
Tsang, and Rynson W.H. Lau
- Abstract要約: 画像構造レベルでの影を除去する構造インフォームド・シャドー除去ネットワーク(StructNet)を提案する。
具体的には、StructNetはまず、シャドウのない入力画像の構造情報を再構成し、画像レベルのシャドウ除去を導く前に復元されたシャドウフリー構造を使用する。
さらに、StructNetを拡張してマルチレベル構造情報(MStructNet)を活用し、最小計算オーバーヘッドでシャドウ除去性能をさらに向上することを提案する。
- 参考スコア（独自算出の注目度）: 56.27460995870149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Shadow removal is a fundamental task in computer vision. Despite the success,
existing deep learning-based shadow removal methods still produce images with
shadow remnants. These shadow remnants typically exist in homogeneous regions
with low intensity values, making them untraceable in the existing
image-to-image mapping paradigm. We observe from our experiments that shadows
mainly degrade object colors at the image structure level (in which humans
perceive object outlines filled with continuous colors). Hence, in this paper,
we propose to remove shadows at the image structure level. Based on this idea,
we propose a novel structure-informed shadow removal network (StructNet) to
leverage the image structure information to address the shadow remnant problem.
Specifically, StructNet first reconstructs the structure information of the
input image without shadows and then uses the restored shadow-free structure
prior to guiding the image-level shadow removal. StructNet contains two main
novel modules: (1) a mask-guided shadow-free extraction (MSFE) module to
extract image structural features in a non-shadow to shadow directional manner,
and (2) a multi-scale feature & residual aggregation (MFRA) module to leverage
the shadow-free structure information to regularize feature consistency. In
addition, we also propose to extend StructNet to exploit multi-level structure
information (MStructNet), to further boost the shadow removal performance with
minimum computational overheads. Extensive experiments on three shadow removal
benchmarks demonstrate that our method outperforms existing shadow removal
methods, and our StructNet can be integrated with existing methods to boost
their performances further.
- Abstract（参考訳）: シャドウ除去はコンピュータビジョンの基本的な課題である。
成功にもかかわらず、既存のディープラーニングベースのシャドウ除去手法は依然として影の残像を持つ画像を生成する。
これらの影残基は、通常、低強度の均一領域に存在し、既存の画像-画像マッピングパラダイムでは追跡できない。
画像構造レベル(連続色で満たされた物体の輪郭を人間が知覚する)において、影は主に物体の色を劣化させる。
そこで本稿では,画像構造レベルでの影を除去することを提案する。
そこで本研究では, 影残差問題に対処するために, 画像構造情報を活用する新しい構造インフォームドシャドウ除去ネットワーク (structnet) を提案する。
具体的には、StructNetはまず、シャドウのない入力画像の構造情報を再構成し、画像レベルのシャドウ除去を導く前に復元されたシャドウフリー構造を使用する。
structnetには,(1)非シャドウ方向からシャドウ方向のイメージ構造特徴を抽出するマスクガイド型シャドウフリー抽出(msfe)モジュール,(2)シャドウフリー構造情報を活用して特徴一貫性を規則化するマルチスケール機能・残留集約(mfra)モジュールという,2つの主要な新規モジュールが含まれている。
さらに,マルチレベル構造情報(MStructNet)を活用するためのStructNetの拡張も提案する。
3つのシャドウ除去ベンチマークに関する広範囲な実験により,提案手法が既存のシャドウ除去手法を上回っており,既存の手法と統合して性能をさらに高めることができることを示した。
関連論文リスト
- Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal [2.999888908665659]
本研究では,マルチスケールシャドウ除去に着目した,ソフトハード注意U-net(SHAU)という新しいディープラーニングアーキテクチャを提案する。
マルチスケールシャドウ除去データセット(MSRD)と呼ばれる新しい合成データセットを提供し、複数のスケールの複雑なシャドウパターンを含んでいる。
その結果,SHAUは,様々なベンチマークデータセット間で,関連する最先端のシャドウ除去方法に対して有効であることが示された。
論文 参考訳（メタデータ） (2024-08-07T12:42:06Z) - SwinShadow: Shifted Window for Ambiguous Adjacent Shadow Detection [90.4751446041017]
スウィンシャドウ(SwinShadow)は、隣接する影を検出するための強力なシフトウインドウ機構をフル活用したトランスフォーマーベースのアーキテクチャである。
プロセス全体は、エンコーダ、デコーダ、機能統合の3つの部分に分けられる。
SBU, UCF, ISTDの3つのシャドウ検出ベンチマークデータセットの実験により, ネットワークがバランスエラー率(BER)の点で優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-08-07T03:16:33Z) - Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - Progressive Recurrent Network for Shadow Removal [99.1928825224358]
シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。
既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。
本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
論文 参考訳（メタデータ） (2023-11-01T11:42:45Z) - SDDNet: Style-guided Dual-layer Disentanglement Network for Shadow
Detection [85.16141353762445]
入力シャドウ画像を背景層と影層の合成として扱い、これらの層を独立にモデル化するためのスタイル誘導デュアル層ディスタングルネットワークを設計する。
提案モデルは背景色による有害な効果を効果的に最小化し,32FPSのリアルタイム推論速度を持つ3つの公開データセットに対して優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-17T12:10:51Z) - Learning Restoration is Not Enough: Transfering Identical Mapping for
Single-Image Shadow Removal [19.391619888009064]
最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。
2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。
本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
論文 参考訳（メタデータ） (2023-05-18T01:36:23Z) - CNSNet: A Cleanness-Navigated-Shadow Network for Shadow Removal [4.951051823391577]
シャドウマスクをベースとした,シャドウ指向適応正規化(SOAN)モジュールとトランスフォーマー(SAAT)モジュールを用いたシャドウ対応アグリゲーションを提案する。
シャドウマスクのガイダンスの下で、SOANモジュールは非シャドウ領域の統計を定式化し、それらを領域的な復元のためにシャドウ領域に適応的に適用する。
SAATモジュールは、シャドウフリー領域から高関連性の高い画素を考慮し、シャドウマスクを用いて各シャドウ画素の復元を正確にガイドする。
論文 参考訳（メタデータ） (2022-09-06T01:33:38Z) - Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
陰影除去のための新しい深層学習法を提案する。
影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。
最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
論文 参考訳（メタデータ） (2020-12-23T23:06:38Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳（メタデータ） (2020-10-22T11:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。