論文の概要: Prompt-Aware Controllable Shadow Removal
- arxiv url: http://arxiv.org/abs/2501.15043v1
- Date: Sat, 25 Jan 2025 02:59:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:56:46.819355
- Title: Prompt-Aware Controllable Shadow Removal
- Title（参考訳）: プロンプト対応制御可能なシャドウ除去
- Authors: Kerui Chen, Zhiliang Wu, Wenjin Hou, Kun Li, Hehe Fan, Yi Yang,
- Abstract要約: 本稿では,制御可能なシャドウ除去のための新しいパラダイムを提案する。
既存手法と異なり,本パラダイムでは,ユーザプロンプトに基づいて特定の被験者を標的としたシャドウ除去が可能となっている。
このアプローチはシャドウアノテーションの必要性を排除し、フレキシブルでユーザ制御のシャドウ削除を提供する。
- 参考スコア（独自算出の注目度）: 29.674151621173856
- License:
- Abstract: Shadow removal aims to restore the image content in shadowed regions. While deep learning-based methods have shown promising results, they still face key challenges: 1) uncontrolled removal of all shadows, or 2) controllable removal but heavily relies on precise shadow region masks.To address these issues, we introduce a novel paradigm: prompt-aware controllable shadow removal. Unlike existing approaches, our paradigm allows for targeted shadow removal from specific subjects based on user prompts (e.g., dots, lines, or subject masks). This approach eliminates the need for shadow annotations and offers flexible, user-controlled shadow removal.Specifically, we propose an end-to-end learnable model, the \emph{\textbf{P}}rompt-\emph{\textbf{A}}ware \emph{\textbf{C}}ntrollable \emph{\textbf{S}}hadow \emph{\textbf{R}}emoval \emph{\textbf{Net}}work (PACSRNet). PACSRNet consists of two key modules: a prompt-aware module that generates shadow masks for the specified subject based on the user prompt, and a shadow removal module that uses the shadow prior from the first module to restore the content in the shadowed regions.Additionally, we enhance the shadow removal module by incorporating feature information from the prompt-aware module through a linear operation, providing prompt-guided support for shadow removal.Recognizing that existing shadow removal datasets lack diverse user prompts, we contribute a new dataset specifically designed for prompt-based controllable shadow removal.Extensive experimental results demonstrate the effectiveness and superiority of PACSRNet.
- Abstract（参考訳）: シャドウ削除は、シャドウ領域のイメージコンテンツを復元することを目的としている。
ディープラーニングベースの手法は有望な結果を示しているが、それでも重要な課題に直面している。
1)すべての影の制御不能な除去、又は
2) シャドウ領域マスクの制御性は高いが, 厳密なシャドウ領域マスクに大きく依存している。
既存の手法と異なり,本パラダイムでは,ユーザプロンプト(ドット,線,マスクなど)に基づいて,特定の対象から対象の影を除去することができる。
本稿では、シャドウアノテーションの必要性を排除し、フレキシブルでユーザ制御されたシャドウ削除を提供する。特に、エンド・ツー・エンドの学習可能なモデルである \emph{\textbf{P}}rompt-\emph{\textbf{A}}ware \emph{\textbf{C}}ntrollable \emph{\textbf{S}}hadow \emph{\textbf{R}}emoval \emph{\textbf{Net}}work (PACSRNet)を提案する。
PACSRNetは,ユーザプロンプトに基づいて特定の被写体に対してシャドウマスクを生成するプロンプト対応モジュールと,第1モジュールからシャドウを前倒ししてシャドウを復元するシャドウ除去モジュールの2つの主要モジュールから構成される。さらに,リニア操作を通じてプロンプト対応モジュールの特徴情報を取り込み,シャドウ除去のためのプロンプト誘導サポートを提供することによりシャドウ除去モジュールを強化し,既存のシャドウ除去データセットが多様なユーザプロンプトを欠いていることを認識して,プロンプトベース制御可能なシャドウ除去のために設計された新しいデータセットを寄贈する。
関連論文リスト
- MetaShadow: Object-Centered Shadow Detection, Removal, and Synthesis [64.00425120075045]
シャドウは画像編集アプリケーションでは過小評価されるか無視されることが多く、編集結果のリアリズムが制限される。
本稿では,自然画像中の影の検出・除去・制御が可能な3-in-one多元性フレームワークであるMetaShadowを紹介する。
論文 参考訳（メタデータ） (2024-12-03T18:04:42Z) - SoftShadow: Leveraging Penumbra-Aware Soft Masks for Shadow Removal [35.16957947180504]
シャドウ除去に特化して設計された新しいソフトシャドウマスクを導入する。
このようなソフトマスクを実現するために,事前学習されたSAMの事前知識を活用したtextitSoftShadowフレームワークを提案する。
このフレームワークは、端から端までのシャドウ除去を同時に容易にしながら、ペナムブラ(部分陰影領域)とウンブラ(完全に陰影領域)の正確な予測を可能にする。
論文 参考訳（メタデータ） (2024-09-11T06:12:26Z) - Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - Progressive Recurrent Network for Shadow Removal [99.1928825224358]
シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。
既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。
本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
論文 参考訳（メタデータ） (2023-11-01T11:42:45Z) - Structure-Informed Shadow Removal Networks [67.57092870994029]
既存のディープラーニングベースのシャドウ除去手法は、依然として影の残像を持つ画像を生成する。
本稿では,影残差問題に対処するために,画像構造情報を活用する構造インフォームド・シャドウ除去ネットワーク(StructNet)を提案する。
我々の手法は既存のシャドウ除去方法よりも優れており、StructNetは既存の手法と統合してさらに改善することができる。
論文 参考訳（メタデータ） (2023-01-09T06:31:52Z) - CNSNet: A Cleanness-Navigated-Shadow Network for Shadow Removal [4.951051823391577]
シャドウマスクをベースとした,シャドウ指向適応正規化(SOAN)モジュールとトランスフォーマー(SAAT)モジュールを用いたシャドウ対応アグリゲーションを提案する。
シャドウマスクのガイダンスの下で、SOANモジュールは非シャドウ領域の統計を定式化し、それらを領域的な復元のためにシャドウ領域に適応的に適用する。
SAATモジュールは、シャドウフリー領域から高関連性の高い画素を考慮し、シャドウマスクを用いて各シャドウ画素の復元を正確にガイドする。
論文 参考訳（メタデータ） (2022-09-06T01:33:38Z) - DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using
Unsupervised Domain-Classifier Guided Network [28.6541488555978]
教師なしドメイン分類器ガイド付きシャドー除去ネットワークDC-ShadowNetを提案する。
物理に基づく無影色度, シャドウロスの知覚的特徴, 境界の滑らかさに基づく新しい損失を導入した。
実験の結果,これらすべての新しいコンポーネントは,ソフトシャドウの処理だけでなく,ハードシャドウの処理にも有効であることがわかった。
論文 参考訳（メタデータ） (2022-07-21T12:04:16Z) - UnShadowNet: Illumination Critic Guided Contrastive Learning For Shadow
Removal [14.898039056038789]
弱教師付きシャドウ除去フレームワークUnShadowNetを導入する。
イルミネーションネットワークの誘導の下で抽出した影を除去するDeShadowerネットワークで構成されている。
We show that UnShadowNet can be extended to a full-supervised set-up to to exploit the ground-truth when available。
論文 参考訳（メタデータ） (2022-03-29T11:17:02Z) - R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。
本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。
提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文 参考訳（メタデータ） (2021-09-20T15:09:22Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳（メタデータ） (2020-10-22T11:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。