論文の概要: Portrait Eyeglasses and Shadow Removal by Leveraging 3D Synthetic Data

• arxiv url: http://arxiv.org/abs/2203.10474v1
• Date: Sun, 20 Mar 2022 07:14:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 16:52:33.860760
• Title: Portrait Eyeglasses and Shadow Removal by Leveraging 3D Synthetic Data
• Title（参考訳）: 3次元合成データを利用したポートレート眼鏡と影除去
• Authors: Junfeng Lyu, Zhibo Wang, Feng Xu
• Abstract要約: 顔画像から眼鏡や鋳造影を除去する新しい枠組みを提案する。 この方法は、眼鏡と鋳造影の両方が検出され、画像から除去される、検出・削除の方法で機能する。 我々の知る限りでは、提案手法は眼鏡と鋳造影を同時に除去する最初の方法である。
• 参考スコア（独自算出の注目度）: 19.441669467054158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In portraits, eyeglasses may occlude facial regions and generate cast shadows on faces, which degrades the performance of many techniques like face verification and expression recognition. Portrait eyeglasses removal is critical in handling these problems. However, completely removing the eyeglasses is challenging because the lighting effects (e.g., cast shadows) caused by them are often complex. In this paper, we propose a novel framework to remove eyeglasses as well as their cast shadows from face images. The method works in a detect-then-remove manner, in which eyeglasses and cast shadows are both detected and then removed from images. Due to the lack of paired data for supervised training, we present a new synthetic portrait dataset with both intermediate and final supervisions for both the detection and removal tasks. Furthermore, we apply a cross-domain technique to fill the gap between the synthetic and real data. To the best of our knowledge, the proposed technique is the first to remove eyeglasses and their cast shadows simultaneously. The code and synthetic dataset are available at https://github.com/StoryMY/take-off-eyeglasses.
• Abstract（参考訳）: 肖像画では、眼鏡は顔領域を遮蔽し、顔に鋳型影を発生させ、顔認証や表情認識などの多くの技術の性能を低下させる。 ポートレート眼鏡の除去はこれらの問題に対処するために重要である。 しかし、点灯効果(例えば、鋳型影)が複雑であることから、眼鏡を完全に取り除くことは困難である。 本稿では,顔画像から眼鏡や鋳影を除去するための新しい枠組みを提案する。 この方法は、眼鏡と鋳造影の両方が検出され、画像から除去される、検出・削除の方法で機能する。 教師付きトレーニングのためのペアデータがないため,検出タスクと除去タスクの両方に対して中間と最終の両方を監督する新しい合成ポートレートデータセットを提示する。 さらに,合成データと実データとのギャップを埋めるためにクロスドメイン手法を適用する。 私たちの知る限りでは、提案された技術はメガネとキャストシャドウを同時に取り除く最初の方法です。 コードと合成データセットはhttps://github.com/storymy/take-off-eyeglassesで入手できる。

関連論文リスト

• Shadow Removal Refinement via Material-Consistent Shadow Edges [33.8383848078524]
  同じ材料で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。 画像セグメンテーション基盤モデルであるSAMを微調整し、影不変セグメンテーションを生成し、材料一貫性のあるシャドウエッジを抽出する。 本手法は,より難易度の高い画像に対して,影除去結果の改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-10T20:16:28Z)
• Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
  影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。 影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。 この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
  論文  参考訳（メタデータ） (2024-07-11T20:58:38Z)
• Text-guided Eyeglasses Manipulation with Spatial Constraints [24.625224289729275]
  メガネのバーチャル試着には、異なる形状とスタイルの眼鏡を物理的に試すことなく、顔画像に配置する。 両用マスクとテキストに基づいて眼鏡の形状とスタイルを制御できるテクスチャ誘導型眼鏡マニピュレーション法を提案する。
  論文  参考訳（メタデータ） (2023-04-25T03:12:54Z)
• MEGANE: Morphable Eyeglass and Avatar Network [83.65790119755053]
  眼鏡の3次元合成可能な形状モデルを提案する。 曲面幾何学と体積表現を組み合わせたハイブリッド表現を用いる。 我々のアプローチは、顔と眼鏡の間の影を鋳造するなど、グローバルな光輸送効果をモデル化する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:49Z)
• Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
  HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。 HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
  論文  参考訳（メタデータ） (2022-12-08T06:52:52Z)
• DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT Similarity [54.831083157152136]
  本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。 提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-11-15T12:15:29Z)
• Benchmarking Shadow Removal for Facial Landmark Detection and Beyond [24.34062373413772]
  影除去が顔のランドマーク検出の堅牢性を多様な影パターンに高めるかどうかは不明だ。 本研究では,まず,2つの独立したタスクを関連づける新しいベンチマークを構築する。 我々は最先端の3つのシャドウ除去法と3つのランドマーク検出器について広範囲に解析を行った。
  論文  参考訳（メタデータ） (2021-11-27T01:34:40Z)
• Unsupervised Portrait Shadow Removal via Generative Priors [37.46753287881341]
  トレーニングデータなしで肖像画の影を除去するための最初の教師なし手法を提案する。 私たちのキーとなるアイデアは、既成のStyleGAN2に埋め込まれた生成的な顔の事前情報を活用することです。 私たちのアプローチは、ポートレートタトゥーの削除や透かしの除去にも適用できます。
  論文  参考訳（メタデータ） (2021-08-07T15:09:36Z)
• No Shadow Left Behind: Removing Objects and their Shadows using Approximate Lighting and Geometry [13.308013245268253]
  現在の塗り絵ベースのメソッドは、オブジェクト自体を削除し、影を残します。 我々は,キャスターとともに影を取り除くための深層学習パイプラインを導入する。 パイプラインを合成レンダリングデータでトレーニングし、合成シーンと実際のシーンの両方で質的および定量的な結果を示します。
  論文  参考訳（メタデータ） (2020-12-19T01:05:40Z)
• Face Forgery Detection by 3D Decomposition [72.22610063489248]
  顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。 顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。 直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
  論文  参考訳（メタデータ） (2020-11-19T09:25:44Z)
• Self-Supervised Shadow Removal [130.6657167667636]
  条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。 既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
  論文  参考訳（メタデータ） (2020-10-22T11:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。