論文の概要: Benchmarking Shadow Removal for Facial Landmark Detection and Beyond
- arxiv url: http://arxiv.org/abs/2111.13790v1
- Date: Sat, 27 Nov 2021 01:34:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 17:13:41.334161
- Title: Benchmarking Shadow Removal for Facial Landmark Detection and Beyond
- Title(参考訳): 顔のランドマーク検出のためのベンチマークシャドウ除去
- Authors: Lan Fu, Qing Guo, Felix Juefei-Xu, Hongkai Yu, Wei Feng, Yang Liu,
Song Wang
- Abstract要約: 影除去が顔のランドマーク検出の堅牢性を多様な影パターンに高めるかどうかは不明だ。
本研究では,まず,2つの独立したタスクを関連づける新しいベンチマークを構築する。
我々は最先端の3つのシャドウ除去法と3つのランドマーク検出器について広範囲に解析を行った。
- 参考スコア(独自算出の注目度): 24.34062373413772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial landmark detection is a very fundamental and significant vision task
with many important applications. In practice, facial landmark detection can be
affected by a lot of natural degradations. One of the most common and important
degradations is the shadow caused by light source blocking. While many advanced
shadow removal methods have been proposed to recover the image quality in
recent years, their effects to facial landmark detection are not well studied.
For example, it remains unclear whether shadow removal could enhance the
robustness of facial landmark detection to diverse shadow patterns or not. In
this work, for the first attempt, we construct a novel benchmark to link two
independent but related tasks (i.e., shadow removal and facial landmark
detection). In particular, the proposed benchmark covers diverse face shadows
with different intensities, sizes, shapes, and locations. Moreover, to mine
hard shadow patterns against facial landmark detection, we propose a novel
method (i.e., adversarial shadow attack), which allows us to construct a
challenging subset of the benchmark for a comprehensive analysis. With the
constructed benchmark, we conduct extensive analysis on three state-of-the-art
shadow removal methods and three landmark detectors. The observation of this
work motivates us to design a novel detection-aware shadow removal framework,
which empowers shadow removal to achieve higher restoration quality and enhance
the shadow robustness of deployed facial landmark detectors.
- Abstract(参考訳): 顔のランドマーク検出は、非常に基本的で重要なビジョン課題であり、多くの重要な応用がある。
実際には、顔の目印検出は多くの自然劣化の影響を受けうる。
最も一般的で重要な劣化の1つは、光源遮断によって引き起こされる影である。
近年,画像品質回復のために多くの高度な影除去法が提案されているが,顔のランドマーク検出に対する効果は十分に研究されていない。
例えば、影の除去が顔のランドマーク検出の堅牢性を多様な影パターンに高めるかどうかは不明だ。
本研究では,最初の試みとして,2つの独立したタスク(影除去と顔のランドマーク検出)をリンクする新しいベンチマークを構築した。
特に、提案するベンチマークは、強度、サイズ、形状、位置の異なるさまざまな顔影をカバーする。
さらに,顔のランドマーク検出に対するハードシャドウパターンをマイニングするために,包括的解析のためにベンチマークの挑戦的なサブセットを構築するための新しい手法(逆影攻撃)を提案する。
構築したベンチマークを用いて,最先端のシャドー除去法と3つのランドマーク検出法について詳細な解析を行った。
本研究の成果は, 影の除去を促進し, 高い復元精度を達成し, 展開された顔ランドマーク検出器の影の堅牢性を高める, 新たな検出対応陰影除去フレームワークを設計する動機となる。
関連論文リスト
- Contrastive Multi-FaceForensics: An End-to-end Bi-grained Contrastive
Learning Approach for Multi-face Forgery Detection [43.7421126999155]
Contrastive Multi-Face Forensics (COMICS)について述べる。
提案するフレームワークは、粗い面と細かな面の両方で効果的な顔偽造跡を探索する、新しい2次元のコントラスト学習手法である。
提案手法は,他の手法よりも大きなマージン(18.5%)を達成し,各種アーキテクチャへの統合の可能性を示している。
論文 参考訳(メタデータ) (2023-08-03T03:37:13Z) - Estimating Reflectance Layer from A Single Image: Integrating
Reflectance Guidance and Shadow/Specular Aware Learning [66.36104525390316]
本稿では,2段階の学習手法を提案し,その課題に対処するためのリフレクタンスガイダンスとシャドウ/スペック・アウェア(S-Aware)ネットワークを提案する。
第1段階では、新規な損失の制約を伴い、影や特異性のない初期反射層を得る。
第二段改良において、反射層が影や特異点に依存しないようにさらに強制するために、入力画像と反射像を区別するS-Awareネットワークを導入する。
論文 参考訳(メタデータ) (2022-11-27T07:26:41Z) - Neural Reflectance for Shape Recovery with Shadow Handling [88.67603644930466]
本論文は,非ランベルト的かつ空間的に変化する表面材料を用いて,シーンの形状を復元することを目的とする。
本研究では, 未知の3次元形状と未知の面点の両方をパラメータ化するために, 座標に基づく深部反射率(多層パーセプトロン)を提案する。
このネットワークは、観測された光度差と表面上の影を利用して、表面形状と一般的な非ランベルト反射率の両方を回復することができる。
論文 参考訳(メタデータ) (2022-03-24T07:57:20Z) - R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。
本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。
提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文 参考訳(メタデータ) (2021-09-20T15:09:22Z) - Robust Face-Swap Detection Based on 3D Facial Shape Information [59.32489266682952]
顔のスワップ画像やビデオは、悪意ある攻撃者を惹きつけ、重要な人物の信用を損ねている。
以前のピクセルレベルのアーティファクトに基づく検出技術は、常に不明瞭なパターンにフォーカスするが、利用可能なセマンティックなヒントは無視する。
キーフィギュアの顔・スワップ検出のための外観・形状特徴をフル活用するための生体情報に基づく手法を提案する。
論文 参考訳(メタデータ) (2021-04-28T09:35:48Z) - Face Forgery Detection by 3D Decomposition [72.22610063489248]
顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。
顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。
直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
論文 参考訳(メタデータ) (2020-11-19T09:25:44Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳(メタデータ) (2020-10-22T11:33:41Z) - Multi-spectral Facial Landmark Detection [10.009879315990133]
我々は、頑健なニューラルネットワークにより顔のランドマーク検出、すなわちDeep Multi-Spectral Learning (DMSL)を提案する。
DMSLは2つのサブモデル、すなわち顔境界検出とランドマーク座標検出から構成される。
Eurecomの可視・熱対データベースで実施された実験は、熱的顔のランドマーク検出のための最先端技術よりもDMSLの優れた性能を示している。
論文 参考訳(メタデータ) (2020-06-09T11:43:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。