論文の概要: DeS3: Attention-driven Self and Soft Shadow Removal using ViT Similarity and Color Convergence

• arxiv url: http://arxiv.org/abs/2211.08089v2
• Date: Tue, 28 Mar 2023 14:55:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 19:27:22.200074
• Title: DeS3: Attention-driven Self and Soft Shadow Removal using ViT Similarity and Color Convergence
• Title（参考訳）: DeS3: ViT類似性とカラーコンバージェンスを用いたアテンション駆動型自己およびソフトシャドウ除去
• Authors: Yeying Jin, Wenhan Yang, Wei Ye, Yuan Yuan and Robby T. Tan
• Abstract要約: 自己調整型ViTの特徴的類似性と色収束に基づく,ハード,ソフト,セルフシャドーを除去する手法を提案する。 提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
• 参考スコア（独自算出の注目度）: 62.50626317810854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Removing soft and self shadows that lack clear boundaries from a single image is still challenging. Self shadows are shadows that are cast on the object itself. Most existing methods rely on binary shadow masks, without considering the ambiguous boundaries of soft and self shadows. In this paper, we present DeS3, a method that removes hard, soft and self shadows based on the self-tuned ViT feature similarity and color convergence. Our novel ViT similarity loss utilizes features extracted from a pre-trained Vision Transformer. This loss helps guide the reverse diffusion process towards recovering scene structures. We also introduce a color convergence loss to constrain the surface colors in the reverse inference process to avoid any color shifts. Our DeS3 is able to differentiate shadow regions from the underlying objects, as well as shadow regions from the object casting the shadow. This capability enables DeS3 to better recover the structures of objects even when they are partially occluded by shadows. Different from existing methods that rely on constraints during the training phase, we incorporate the ViT similarity and color convergence loss during the sampling stage. This enables our DeS3 model to effectively integrate its strong modeling capabilities with input-specific knowledge in a self-tuned manner. Our method outperforms state-of-the-art methods on the SRD, AISTD, LRSS, USR and UIUC datasets, removing hard, soft, and self shadows robustly. Specifically, our method outperforms the SOTA method by 20% of the RMSE of the whole image on the SRD dataset.
• Abstract（参考訳）: 単一の画像から明確な境界を欠いているソフトとセルフの影を取り除くことは、依然として難しい。 自己影は、オブジェクト自体に投射される影である。 既存の方法の多くは、ソフトシャドウとセルフシャドウの境界を曖昧に考慮せずに、バイナリシャドウマスクに依存している。 本稿では, 自己調整型ViTの特徴的類似性と色収束性に基づいて, ハード, ソフト, セルフシャドウを除去するDeS3を提案する。 我々の新しいViT類似度損失は、事前訓練された視覚変換器から抽出した特徴を利用する。 この損失は、逆拡散過程をシーン構造を回復させるのに役立つ。 また,色変化を避けるために,逆推論過程における表面色を制約するために色収束損失を導入する。 私たちのDeS3は、影の領域を下層のオブジェクトと区別することができ、影の領域を影をキャストするオブジェクトと区別することができます。 この能力により、DeS3は影によって部分的に隠されている場合でも、オブジェクトの構造をよりよく回復することができる。 トレーニング段階における制約に依存する既存の手法とは異なり、サンプリング段階におけるViT類似性と色収束損失を取り入れる。 これにより、私たちのDeS3モデルは、強力なモデリング機能と入力固有の知識を自己調整で効果的に統合できます。 本手法は, SRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れ, ハード, ソフト, セルフシャドウを頑健に除去する。 具体的には、SRDデータセット上の画像全体のRMSEの20%でSOTA法より優れている。

関連論文リスト

• Shadow Removal Refinement via Material-Consistent Shadow Edges [33.8383848078524]
  同じ材料で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。 画像セグメンテーション基盤モデルであるSAMを微調整し、影不変セグメンテーションを生成し、材料一貫性のあるシャドウエッジを抽出する。 本手法は,より難易度の高い画像に対して,影除去結果の改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-10T20:16:28Z)
• Progressive Recurrent Network for Shadow Removal [99.1928825224358]
  シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。 既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。 本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
  論文  参考訳（メタデータ） (2023-11-01T11:42:45Z)
• Learning Restoration is Not Enough: Transfering Identical Mapping for Single-Image Shadow Removal [19.391619888009064]
  最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。 2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。 本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
  論文  参考訳（メタデータ） (2023-05-18T01:36:23Z)
• Structure-Informed Shadow Removal Networks [67.57092870994029]
  既存のディープラーニングベースのシャドウ除去手法は、依然として影の残像を持つ画像を生成する。 本稿では,影残差問題に対処するために,画像構造情報を活用する構造インフォームド・シャドウ除去ネットワーク(StructNet)を提案する。 我々の手法は既存のシャドウ除去方法よりも優れており、StructNetは既存の手法と統合してさらに改善することができる。
  論文  参考訳（メタデータ） (2023-01-09T06:31:52Z)
• Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
  HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。 HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
  論文  参考訳（メタデータ） (2022-12-08T06:52:52Z)
• DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using Unsupervised Domain-Classifier Guided Network [28.6541488555978]
  教師なしドメイン分類器ガイド付きシャドー除去ネットワークDC-ShadowNetを提案する。 物理に基づく無影色度, シャドウロスの知覚的特徴, 境界の滑らかさに基づく新しい損失を導入した。 実験の結果,これらすべての新しいコンポーネントは,ソフトシャドウの処理だけでなく,ハードシャドウの処理にも有効であることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T12:04:16Z)
• Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
  シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。 我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。 我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
  論文  参考訳（メタデータ） (2022-05-10T14:00:48Z)
• R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
  現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。 本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。 提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-09-20T15:09:22Z)
• Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
  陰影除去のための新しい深層学習法を提案する。 影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。 最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
  論文  参考訳（メタデータ） (2020-12-23T23:06:38Z)
• From Shadow Segmentation to Shadow Removal [34.762493656937366]
  シャドウとシャドウフリーの画像のペアの必要性は、シャドウ除去データセットのサイズと多様性を制限している。 本研究では,影画像から抽出した陰影と非陰影パッチのみを用いて,陰影除去法を提案する。
  論文  参考訳（メタデータ） (2020-08-01T14:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。