論文の概要: Unsupervised Portrait Shadow Removal via Generative Priors
- arxiv url: http://arxiv.org/abs/2108.03466v1
- Date: Sat, 7 Aug 2021 15:09:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:30:49.742342
- Title: Unsupervised Portrait Shadow Removal via Generative Priors
- Title(参考訳): 生成前処理による教師なしポートレートシャドー除去
- Authors: Yingqing He, Yazhou Xing, Tianjia Zhang, Qifeng Chen
- Abstract要約: トレーニングデータなしで肖像画の影を除去するための最初の教師なし手法を提案する。
私たちのキーとなるアイデアは、既成のStyleGAN2に埋め込まれた生成的な顔の事前情報を活用することです。
私たちのアプローチは、ポートレートタトゥーの削除や透かしの除去にも適用できます。
- 参考スコア(独自算出の注目度): 37.46753287881341
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portrait images often suffer from undesirable shadows cast by casual objects
or even the face itself. While existing methods for portrait shadow removal
require training on a large-scale synthetic dataset, we propose the first
unsupervised method for portrait shadow removal without any training data. Our
key idea is to leverage the generative facial priors embedded in the
off-the-shelf pretrained StyleGAN2. To achieve this, we formulate the shadow
removal task as a layer decomposition problem: a shadowed portrait image is
constructed by the blending of a shadow image and a shadow-free image. We
propose an effective progressive optimization algorithm to learn the
decomposition process. Our approach can also be extended to portrait tattoo
removal and watermark removal. Qualitative and quantitative experiments on a
real-world portrait shadow dataset demonstrate that our approach achieves
comparable performance with supervised shadow removal methods. Our source code
is available at
https://github.com/YingqingHe/Shadow-Removal-via-Generative-Priors.
- Abstract(参考訳): ポートレート画像は、しばしば、カジュアルな物体や顔自体によって投げられる望ましくない影に苦しむ。
既存のポートレートシャドウ除去法は大規模合成データセットのトレーニングを必要とするが、トレーニングデータなしでポートレートシャドウ除去を行う最初の非教師なし手法を提案する。
私たちの重要なアイデアは、プレトレーニングされたstylegan2に埋め込まれた生成的な顔前処理を活用することです。
そこで我々は,影画像と影のない画像の混合により,影像を構成する層分解問題として影除去タスクを定式化する。
本稿では,分解過程の学習に有効なプログレッシブ最適化アルゴリズムを提案する。
また,肖像画のタトゥー除去や透かし除去にも応用できる。
実世界のポートレートシャドウデータセットの定性的および定量的実験により,本手法が教師付きシャドウ除去法で同等の性能を発揮することを示す。
ソースコードはhttps://github.com/YingqingHe/Shadow-Removal-via-Generative-Priorsで公開しています。
関連論文リスト
- Progressive Recurrent Network for Shadow Removal [99.1928825224358]
シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。
既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。
本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
論文 参考訳(メタデータ) (2023-11-01T11:42:45Z) - Leveraging Inpainting for Single-Image Shadow Removal [29.679542372017373]
本研究では,画像インペイントデータセットにおける影除去ネットワークの事前学習により,影の残差を著しく低減できることを示す。
単純エンコーダ・デコーダネットワークは、10%のシャドウとシャドウフリーの画像ペアで、最先端の手法で競合する復元品質を得る。
これらの観測から着想を得て,影の除去と画像の塗装を両立させる適応融合タスクとして,影の除去を定式化する。
論文 参考訳(メタデータ) (2023-02-10T16:21:07Z) - ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document
Shadow Removal [53.01990632289937]
本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。
シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
論文 参考訳(メタデータ) (2022-11-30T01:46:29Z) - Estimating Reflectance Layer from A Single Image: Integrating
Reflectance Guidance and Shadow/Specular Aware Learning [66.36104525390316]
本稿では,2段階の学習手法を提案し,その課題に対処するためのリフレクタンスガイダンスとシャドウ/スペック・アウェア(S-Aware)ネットワークを提案する。
第1段階では、新規な損失の制約を伴い、影や特異性のない初期反射層を得る。
第二段改良において、反射層が影や特異点に依存しないようにさらに強制するために、入力画像と反射像を区別するS-Awareネットワークを導入する。
論文 参考訳(メタデータ) (2022-11-27T07:26:41Z) - DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT
Similarity [58.82530572481236]
本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。
提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
論文 参考訳(メタデータ) (2022-11-15T12:15:29Z) - DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using
Unsupervised Domain-Classifier Guided Network [28.6541488555978]
教師なしドメイン分類器ガイド付きシャドー除去ネットワークDC-ShadowNetを提案する。
物理に基づく無影色度, シャドウロスの知覚的特徴, 境界の滑らかさに基づく新しい損失を導入した。
実験の結果,これらすべての新しいコンポーネントは,ソフトシャドウの処理だけでなく,ハードシャドウの処理にも有効であることがわかった。
論文 参考訳(メタデータ) (2022-07-21T12:04:16Z) - Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
陰影除去のための新しい深層学習法を提案する。
影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。
最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
論文 参考訳(メタデータ) (2020-12-23T23:06:38Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳(メタデータ) (2020-10-22T11:33:41Z) - From Shadow Segmentation to Shadow Removal [34.762493656937366]
シャドウとシャドウフリーの画像のペアの必要性は、シャドウ除去データセットのサイズと多様性を制限している。
本研究では,影画像から抽出した陰影と非陰影パッチのみを用いて,陰影除去法を提案する。
論文 参考訳(メタデータ) (2020-08-01T14:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。