論文の概要: SoftShadow: Leveraging Penumbra-Aware Soft Masks for Shadow Removal

• arxiv url: http://arxiv.org/abs/2409.07041v1
• Date: Wed, 11 Sep 2024 06:12:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 15:26:28.977846
• Title: SoftShadow: Leveraging Penumbra-Aware Soft Masks for Shadow Removal
• Title（参考訳）: SoftShadow: シャドウ除去のためにペナブラ対応のソフトマスクを活用
• Authors: Xinrui Wang, Lanqing Guo, Xiyu Wang, Siyu Huang, Bihan Wen,
• Abstract要約: シャドウ除去に特化して設計された新しいソフトシャドウマスクを導入する。 このようなソフトマスクを実現するために,事前学習されたSAMの事前知識を活用したtextitSoftShadowフレームワークを提案する。 このフレームワークは、端から端までのシャドウ除去を同時に容易にしながら、ペナムブラ(部分陰影領域)とウンブラ(完全に陰影領域)の正確な予測を可能にする。
• 参考スコア（独自算出の注目度）: 35.16957947180504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in deep learning have yielded promising results for the image shadow removal task. However, most existing methods rely on binary pre-generated shadow masks. The binary nature of such masks could potentially lead to artifacts near the boundary between shadow and non-shadow areas. In view of this, inspired by the physical model of shadow formation, we introduce novel soft shadow masks specifically designed for shadow removal. To achieve such soft masks, we propose a \textit{SoftShadow} framework by leveraging the prior knowledge of pretrained SAM and integrating physical constraints. Specifically, we jointly tune the SAM and the subsequent shadow removal network using penumbra formation constraint loss and shadow removal loss. This framework enables accurate predictions of penumbra (partially shaded regions) and umbra (fully shaded regions) areas while simultaneously facilitating end-to-end shadow removal. Through extensive experiments on popular datasets, we found that our SoftShadow framework, which generates soft masks, can better restore boundary artifacts, achieve state-of-the-art performance, and demonstrate superior generalizability.
• Abstract（参考訳）: 近年のディープラーニングの進歩は、画像影除去タスクに有望な結果をもたらしている。 しかし、既存のほとんどの方法はバイナリ生成前のシャドウマスクに依存している。 このようなマスクのバイナリの性質は、影と非影の領域の境界付近の人工物につながる可能性がある。 影形成の物理モデルに触発されて,影の除去に特化して設計された,新しい柔らかい影マスクを導入する。 このようなソフトマスクを実現するために,事前学習されたSAMの事前知識を活用し,物理的な制約を統合することにより,‘textit{SoftShadow} フレームワークを提案する。 具体的には、ペナムブラ生成制約損失とシャドウ除去損失を用いてSAMとその後のシャドウ除去ネットワークを協調的に調整する。 このフレームワークは、端から端までのシャドウ除去を同時に容易にしながら、ペナムブラ(部分日陰領域)とウンブラ(完全に日陰領域)の正確な予測を可能にする。 一般的なデータセットに関する広範な実験を通じて、ソフトマスクを生成するSoftShadowフレームワークは、境界アーチファクトをよりよく復元し、最先端のパフォーマンスを実現し、より優れた一般化性を示すことができることがわかった。

関連論文リスト

• Shadow Removal Refinement via Material-Consistent Shadow Edges [33.8383848078524]
  同じ材料で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。 画像セグメンテーション基盤モデルであるSAMを微調整し、影不変セグメンテーションを生成し、材料一貫性のあるシャドウエッジを抽出する。 本手法は,より難易度の高い画像に対して,影除去結果の改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-10T20:16:28Z)
• Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
  HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。 HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
  論文  参考訳（メタデータ） (2022-12-08T06:52:52Z)
• DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT Similarity [54.831083157152136]
  本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。 提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-11-15T12:15:29Z)
• Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
  シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。 我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。 我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
  論文  参考訳（メタデータ） (2022-05-10T14:00:48Z)
• R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
  現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。 本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。 提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-09-20T15:09:22Z)
• From Shadow Generation to Shadow Removal [19.486543304598264]
  シャドウ生成を弱教師付きシャドウ除去に活用するG2R-ShadowNetを提案する。 提案されたG2R-ShadowNetは3つのサブネットワークで構成されている。 特に、シャドウ生成サブネットは非シャドウ領域をシャドウ領域とスタイリングし、シャドウ除去サブネットをトレーニングするためのペアデータを生成する。
  論文  参考訳（メタデータ） (2021-03-24T05:49:08Z)
• Learning from Synthetic Shadows for Shadow Detection and Removal [43.53464469097872]
  最近のシャドウ除去は、実対のシャドウ/シャドウフリーまたはシャドウ/シャドウ/マスクイメージデータセット上のすべてのトレイン畳み込みニューラルネットワーク(CNN)にアプローチしている。 今回紹介するSynShadowは、新しい大規模合成影/影なし/マット画像トリプレットデータセットと合成パイプラインである。
  論文  参考訳（メタデータ） (2021-01-05T18:56:34Z)
• Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
  陰影除去のための新しい深層学習法を提案する。 影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。 最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
  論文  参考訳（メタデータ） (2020-12-23T23:06:38Z)
• Self-Supervised Shadow Removal [130.6657167667636]
  条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。 既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
  論文  参考訳（メタデータ） (2020-10-22T11:33:41Z)
• From Shadow Segmentation to Shadow Removal [34.762493656937366]
  シャドウとシャドウフリーの画像のペアの必要性は、シャドウ除去データセットのサイズと多様性を制限している。 本研究では,影画像から抽出した陰影と非陰影パッチのみを用いて,陰影除去法を提案する。
  論文  参考訳（メタデータ） (2020-08-01T14:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。