論文の概要: Shadow Removal Refinement via Material-Consistent Shadow Edges

• arxiv url: http://arxiv.org/abs/2409.06848v1
• Date: Tue, 10 Sep 2024 20:16:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 16:29:39.486544
• Title: Shadow Removal Refinement via Material-Consistent Shadow Edges
• Title（参考訳）: 材料性シャドウエッジによるシャドウ除去
• Authors: Shilin Hu, Hieu Le, ShahRukh Athar, Sagnik Das, Dimitris Samaras,
• Abstract要約: 同じ材料で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。 画像セグメンテーション基盤モデルであるSAMを微調整し、影不変セグメンテーションを生成し、材料一貫性のあるシャドウエッジを抽出する。 本手法は,より難易度の高い画像に対して,影除去結果の改善に有効であることを示す。
• 参考スコア（独自算出の注目度）: 33.8383848078524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shadow boundaries can be confused with material boundaries as both exhibit sharp changes in luminance or contrast within a scene. However, shadows do not modify the intrinsic color or texture of surfaces. Therefore, on both sides of shadow edges traversing regions with the same material, the original color and textures should be the same if the shadow is removed properly. These shadow/shadow-free pairs are very useful but hard-to-collect supervision signals. The crucial contribution of this paper is to learn how to identify those shadow edges that traverse material-consistent regions and how to use them as self-supervision for shadow removal refinement during test time. To achieve this, we fine-tune SAM, an image segmentation foundation model, to produce a shadow-invariant segmentation and then extract material-consistent shadow edges by comparing the SAM segmentation with the shadow mask. Utilizing these shadow edges, we introduce color and texture-consistency losses to enhance the shadow removal process. We demonstrate the effectiveness of our method in improving shadow removal results on more challenging, in-the-wild images, outperforming the state-of-the-art shadow removal methods. Additionally, we propose a new metric and an annotated dataset for evaluating the performance of shadow removal methods without the need for paired shadow/shadow-free data.
• Abstract（参考訳）: 影の境界は、どちらもシーン内の輝度やコントラストの急激な変化を示すため、物質境界と混同されることがある。 しかし、影は本来の色や表面の質感を変えない。 したがって、同じ素材で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。 これらのシャドー/シャドーフリーペアは非常に有用であるが、監視信号の収集が困難である。 本研究は, 物質共存領域を横断するシャドーエッジの同定方法と, テスト期間中のシャドウ除去改善のための自己超越的手法を学習することを目的とする。 これを実現するために,画像分割基礎モデルであるSAMを微調整し,影不変のセグメンテーションを生成し,SAMセグメンテーションと影マスクを比較して材料一貫性のあるシャドウエッジを抽出する。 これらのシャドウエッジを利用することで、色とテクスチャの整合性が損なわれ、シャドウ除去プロセスが強化される。 提案手法は,より難易度の高い画像に対して,影除去結果の改善に有効であり,最先端の影除去方法よりも優れていることを示す。 さらに,2つのシャドウ・シャドウフリーなデータを必要としないシャドウ除去手法の性能を評価するための新しい指標とアノテートデータセットを提案する。

関連論文リスト

• MetaShadow: Object-Centered Shadow Detection, Removal, and Synthesis [64.00425120075045]
  シャドウは画像編集アプリケーションでは過小評価されるか無視されることが多く、編集結果のリアリズムが制限される。 本稿では,自然画像中の影の検出・除去・制御が可能な3-in-one多元性フレームワークであるMetaShadowを紹介する。
  論文  参考訳（メタデータ） (2024-12-03T18:04:42Z)
• SoftShadow: Leveraging Penumbra-Aware Soft Masks for Shadow Removal [35.16957947180504]
  シャドウ除去に特化して設計された新しいソフトシャドウマスクを導入する。 このようなソフトマスクを実現するために,事前学習されたSAMの事前知識を活用したtextitSoftShadowフレームワークを提案する。 このフレームワークは、端から端までのシャドウ除去を同時に容易にしながら、ペナムブラ(部分陰影領域)とウンブラ(完全に陰影領域)の正確な予測を可能にする。
  論文  参考訳（メタデータ） (2024-09-11T06:12:26Z)
• Learning Restoration is Not Enough: Transfering Identical Mapping for Single-Image Shadow Removal [19.391619888009064]
  最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。 2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。 本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
  論文  参考訳（メタデータ） (2023-05-18T01:36:23Z)
• Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
  HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。 HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
  論文  参考訳（メタデータ） (2022-12-08T06:52:52Z)
• ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document Shadow Removal [53.01990632289937]
  本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。 シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
  論文  参考訳（メタデータ） (2022-11-30T01:46:29Z)
• DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT Similarity [54.831083157152136]
  本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。 提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-11-15T12:15:29Z)
• Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
  シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。 我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。 我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
  論文  参考訳（メタデータ） (2022-05-10T14:00:48Z)
• Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
  陰影除去のための新しい深層学習法を提案する。 影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。 最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
  論文  参考訳（メタデータ） (2020-12-23T23:06:38Z)
• Self-Supervised Shadow Removal [130.6657167667636]
  条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。 既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
  論文  参考訳（メタデータ） (2020-10-22T11:33:41Z)
• From Shadow Segmentation to Shadow Removal [34.762493656937366]
  シャドウとシャドウフリーの画像のペアの必要性は、シャドウ除去データセットのサイズと多様性を制限している。 本研究では,影画像から抽出した陰影と非陰影パッチのみを用いて,陰影除去法を提案する。
  論文  参考訳（メタデータ） (2020-08-01T14:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。