論文の概要: Prompt-Aware Controllable Shadow Removal
- arxiv url: http://arxiv.org/abs/2501.15043v2
- Date: Mon, 03 Feb 2025 03:30:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-04 16:04:49.986778
- Title: Prompt-Aware Controllable Shadow Removal
- Title（参考訳）: プロンプト対応制御可能なシャドウ除去
- Authors: Kerui Chen, Zhiliang Wu, Wenjin Hou, Kun Li, Hehe Fan, Yi Yang,
- Abstract要約: 本稿では,制御可能なシャドウ除去のための新しいパラダイムを提案する。
既存手法と異なり,本パラダイムでは,ユーザプロンプトに基づいて特定の被験者を標的としたシャドウ除去が可能となっている。
本稿では,Pmpt-Aware Controllable Shadow removal Network (PACSRNet)を提案する。
- 参考スコア（独自算出の注目度）: 29.674151621173856
- License:
- Abstract: Shadow removal aims to restore the image content in shadowed regions. While deep learning-based methods have shown promising results, they still face key challenges: 1) uncontrolled removal of all shadows, or 2) controllable removal but heavily relies on precise shadow region masks. To address these issues, we introduce a novel paradigm: prompt-aware controllable shadow removal. Unlike existing approaches, our paradigm allows for targeted shadow removal from specific subjects based on user prompts (e.g., dots, lines, or subject masks). This approach eliminates the need for shadow annotations and offers flexible, user-controlled shadow removal. Specifically, we propose an end-to-end learnable model, the Prompt-Aware Controllable Shadow Removal Network (PACSRNet). PACSRNet consists of two key modules: a prompt-aware module that generates shadow masks for the specified subject based on the user prompt, and a shadow removal module that uses the shadow prior from the first module to restore the content in the shadowed regions. Additionally, we enhance the shadow removal module by incorporating feature information from the prompt-aware module through a linear operation, providing prompt-guided support for shadow removal. Recognizing that existing shadow removal datasets lack diverse user prompts, we contribute a new dataset specifically designed for prompt-based controllable shadow removal. Extensive experimental results demonstrate the effectiveness and superiority of PACSRNet.
- Abstract（参考訳）: シャドウ削除は、シャドウ領域のイメージコンテンツを復元することを目的としている。
ディープラーニングベースの手法は有望な結果を示しているが、それでも重要な課題に直面している。
1)すべての影の制御不能な除去、又は
2) コントロール可能な除去は可能であるが, 正確な影領域マスクに大きく依存している。
これらの問題に対処するために、我々は新しいパラダイム、即応制御可能なシャドウ除去を導入する。
既存の手法と異なり,本パラダイムでは,ユーザプロンプト(ドット,線,マスクなど)に基づいて,特定の対象から対象の影を除去することができる。
このアプローチはシャドウアノテーションの必要性を排除し、フレキシブルでユーザ制御されたシャドウ削除を提供する。
具体的には,エンドツーエンドの学習可能モデルであるPrompt-Aware Controllable Shadow removal Network (PACSRNet)を提案する。
PACSRNetは、ユーザプロンプトに基づいて特定の主題のシャドーマスクを生成するプロンプト対応モジュールと、第1モジュールの前のシャドウを使用してシャドウ領域のコンテンツを復元するシャドウ除去モジュールの2つの主要なモジュールで構成されている。
さらに,リニア操作により,プロンプト認識モジュールの特徴情報を組み込んでシャドウ除去モジュールを強化し,シャドウ除去のためのプロンプト誘導サポートを提供する。
既存のシャドウ除去データセットには多様なプロンプトがないことを認識し、プロンプトベースの制御可能なシャドウ除去用に設計された新しいデータセットをコントリビュートする。
実験の結果,PACSRNetの有効性と優位性を示した。
関連論文リスト
- SoftShadow: Leveraging Penumbra-Aware Soft Masks for Shadow Removal [35.16957947180504]
シャドウ除去に特化して設計された新しいソフトシャドウマスクを導入する。
このようなソフトマスクを実現するために,事前学習されたSAMの事前知識を活用したtextitSoftShadowフレームワークを提案する。
このフレームワークは、端から端までのシャドウ除去を同時に容易にしながら、ペナムブラ(部分陰影領域)とウンブラ(完全に陰影領域)の正確な予測を可能にする。
論文 参考訳（メタデータ） (2024-09-11T06:12:26Z) - Progressive Recurrent Network for Shadow Removal [99.1928825224358]
シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。
既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。
本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
論文 参考訳（メタデータ） (2023-11-01T11:42:45Z) - Structure-Informed Shadow Removal Networks [67.57092870994029]
既存のディープラーニングベースのシャドウ除去手法は、依然として影の残像を持つ画像を生成する。
本稿では,影残差問題に対処するために,画像構造情報を活用する構造インフォームド・シャドウ除去ネットワーク(StructNet)を提案する。
我々の手法は既存のシャドウ除去方法よりも優れており、StructNetは既存の手法と統合してさらに改善することができる。
論文 参考訳（メタデータ） (2023-01-09T06:31:52Z) - ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document
Shadow Removal [53.01990632289937]
本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。
シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
論文 参考訳（メタデータ） (2022-11-30T01:46:29Z) - CNSNet: A Cleanness-Navigated-Shadow Network for Shadow Removal [4.951051823391577]
シャドウマスクをベースとした,シャドウ指向適応正規化(SOAN)モジュールとトランスフォーマー(SAAT)モジュールを用いたシャドウ対応アグリゲーションを提案する。
シャドウマスクのガイダンスの下で、SOANモジュールは非シャドウ領域の統計を定式化し、それらを領域的な復元のためにシャドウ領域に適応的に適用する。
SAATモジュールは、シャドウフリー領域から高関連性の高い画素を考慮し、シャドウマスクを用いて各シャドウ画素の復元を正確にガイドする。
論文 参考訳（メタデータ） (2022-09-06T01:33:38Z) - DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using
Unsupervised Domain-Classifier Guided Network [28.6541488555978]
教師なしドメイン分類器ガイド付きシャドー除去ネットワークDC-ShadowNetを提案する。
物理に基づく無影色度, シャドウロスの知覚的特徴, 境界の滑らかさに基づく新しい損失を導入した。
実験の結果,これらすべての新しいコンポーネントは,ソフトシャドウの処理だけでなく,ハードシャドウの処理にも有効であることがわかった。
論文 参考訳（メタデータ） (2022-07-21T12:04:16Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳（メタデータ） (2022-05-10T14:00:48Z) - UnShadowNet: Illumination Critic Guided Contrastive Learning For Shadow
Removal [14.898039056038789]
弱教師付きシャドウ除去フレームワークUnShadowNetを導入する。
イルミネーションネットワークの誘導の下で抽出した影を除去するDeShadowerネットワークで構成されている。
We show that UnShadowNet can be extended to a full-supervised set-up to to exploit the ground-truth when available。
論文 参考訳（メタデータ） (2022-03-29T11:17:02Z) - R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。
本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。
提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文 参考訳（メタデータ） (2021-09-20T15:09:22Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳（メタデータ） (2020-10-22T11:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。