論文の概要: 3D-Aided Data Augmentation for Robust Face Understanding

• arxiv url: http://arxiv.org/abs/2010.01246v2
• Date: Tue, 6 Oct 2020 02:55:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 09:10:36.499524
• Title: 3D-Aided Data Augmentation for Robust Face Understanding
• Title（参考訳）: ロバストな顔理解のための3次元データ拡張
• Authors: Yifan Xing, Yuanjun Xiong, Wei Xia
• Abstract要約: 照明条件の異なる複数の視点から3次元顔モデルを用いて現実的な3次元画像を生成する手法を提案する。 実験により,提案した3次元データ拡張法は顔理解タスクの性能と堅牢性を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 40.73929372872909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation has been highly effective in narrowing the data gap and reducing the cost for human annotation, especially for tasks where ground truth labels are difficult and expensive to acquire. In face recognition, large pose and illumination variation of face images has been a key factor for performance degradation. However, human annotation for the various face understanding tasks including face landmark localization, face attributes classification and face recognition under these challenging scenarios are highly costly to acquire. Therefore, it would be desirable to perform data augmentation for these cases. But simple 2D data augmentation techniques on the image domain are not able to satisfy the requirement of these challenging cases. As such, 3D face modeling, in particular, single image 3D face modeling, stands a feasible solution for these challenging conditions beyond 2D based data augmentation. To this end, we propose a method that produces realistic 3D augmented images from multiple viewpoints with different illumination conditions through 3D face modeling, each associated with geometrically accurate face landmarks, attributes and identity information. Experiments demonstrate that the proposed 3D data augmentation method significantly improves the performance and robustness of various face understanding tasks while achieving state-of-arts on multiple benchmarks.
• Abstract（参考訳）: データ拡張は、特に真理ラベルの取得が困難でコストがかかるタスクにおいて、データのギャップを狭め、人間のアノテーションのコストを削減するのに非常に効果的である。 顔認識では、顔画像の大きなポーズや照明変化が性能低下の重要な要因となっている。 しかし,これらの難解なシナリオ下での顔のランドマークの局所化,顔属性の分類,顔認識など,さまざまな顔理解タスクに対する人間のアノテーションは,取得に非常にコストがかかる。 したがって、これらのケースに対してデータ拡張を行うことが望ましい。 しかし、画像領域上の単純な2Dデータ拡張技術は、これらの困難なケースの要件を満たすことができない。 このようにして、3d顔モデリング、特に1枚の画像3d顔モデリングは、2dベースのデータ拡張以上の困難な条件に対して実現可能な解決策である。 そこで本研究では,幾何学的に正確な顔のランドマーク,属性,識別情報を関連付けた3次元顔のモデリングにより,照明条件の異なる複数の視点からリアルな3次元画像を生成する手法を提案する。 実験により,提案手法は様々な顔理解タスクの性能とロバスト性を大幅に向上し,複数のベンチマークで最先端の成果を得られた。

関連論文リスト

• TCDiff: Triple Condition Diffusion Model with 3D Constraints for Stylizing Synthetic Faces [1.7535229154829601]
  新しいデータセットの1k、2k、5kクラスを用いた顔認識実験は、実顔ベンチマークで最先端の合成データセットをトレーニングする。
  論文  参考訳（メタデータ） (2024-09-05T14:59:41Z)
• EFHQ: Multi-purpose ExtremePose-Face-HQ dataset [1.8194090162317431]
  この研究は、Extreme Pose Face High-Qualityデータセット(EFHQ)と呼ばれる新しいデータセットを導入し、極端なポーズで顔の最大450kの高品質な画像を含む。 このような膨大なデータセットを生成するために、我々は、新しく精巧なデータセット処理パイプラインを使用して、2つの公開データセットをキュレートする。 我々のデータセットは、顔合成と2D/3D対応のGAN、拡散ベースの顔生成、顔の再現など、さまざまな顔関連タスクに関する既存のデータセットを補完することができる。
  論文  参考訳（メタデータ） (2023-12-28T18:40:31Z)
• Controllable 3D Face Generation with Conditional Style Code Diffusion [51.24656496304069]
  TEx-Face(TExt & Expression-to-Face)は、タスクを3D GANインバージョン、条件付きスタイルコード拡散、3D Face Decodingという3つのコンポーネントに分割することで、課題に対処する。 FFHQ、CelebA-HQ、CelebA-Dialogで実施された実験は、我々のTEx-Faceの有望なパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2023-12-21T15:32:49Z)
• A lightweight 3D dense facial landmark estimation model from position map data [0.8508775813669867]
  顔全体にわたって520個のキーポイントを含む密集キーポイントトレーニングデータセットを作成するパイプラインを提案する。 生成されたデータを用いて、軽量なMobileNetベースの回帰モデルをトレーニングする。 実験結果から, モデルサイズが小さく, 計算コストが最小であるにもかかわらず, トレーニングされたモデルでは, 既存の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-08-29T09:53:10Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)
• Methodology for Building Synthetic Datasets with Virtual Humans [1.5556923898855324]
  大規模なデータセットは、ディープニューラルネットワークの改善、ターゲットトレーニングに使用することができる。 特に,100の合成IDからなるデータセットにまたがる複数の2次元画像のレンダリングに3次元形態素顔モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-21T10:29:36Z)
• Differential 3D Facial Recognition: Adding 3D to Your State-of-the-Art 2D Method [90.26041504667451]
  能動照明を応用して最先端の2D顔認証手法を3次元特徴量で拡張できることが示唆された。 提案手法は顔認識性能を大幅に向上させ,スプーフィング攻撃に対するロバスト性を劇的に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T20:17:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。