論文の概要: Mesh-Tension Driven Expression-Based Wrinkles for Synthetic Faces

• arxiv url: http://arxiv.org/abs/2210.03529v1
• Date: Wed, 5 Oct 2022 18:00:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 14:53:35.164146
• Title: Mesh-Tension Driven Expression-Based Wrinkles for Synthetic Faces
• Title（参考訳）: メッシュ張力駆動表現に基づく合成顔用しわ
• Authors: Chirag Raman, Charlie Hewitt, Erroll Wood, Tadas Baltrusaitis
• Abstract要約: 我々は,表情に反応して皮膚のダイナミックなしわを導入することで,合成顔のリアリズムを高める。 私たちの重要な貢献は、デジタル人間の多様で多様な集団に現実的なしわを生み出すアプローチです。 また,300Wウィンクス評価サブセットとクローズドアイとウィンクのペクセルデータセットも導入した。
• 参考スコア（独自算出の注目度）: 6.098254376499899
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in synthesizing realistic faces have shown that synthetic training data can replace real data for various face-related computer vision tasks. A question arises: how important is realism? Is the pursuit of photorealism excessive? In this work, we show otherwise. We boost the realism of our synthetic faces by introducing dynamic skin wrinkles in response to facial expressions and observe significant performance improvements in downstream computer vision tasks. Previous approaches for producing such wrinkles either required prohibitive artist effort to scale across identities and expressions or were not capable of reconstructing high-frequency skin details with sufficient fidelity. Our key contribution is an approach that produces realistic wrinkles across a large and diverse population of digital humans. Concretely, we formalize the concept of mesh-tension and use it to aggregate possible wrinkles from high-quality expression scans into albedo and displacement texture maps. At synthesis, we use these maps to produce wrinkles even for expressions not represented in the source scans. Additionally, to provide a more nuanced indicator of model performance under deformations resulting from compressed expressions, we introduce the 300W-winks evaluation subset and the Pexels dataset of closed eyes and winks.
• Abstract（参考訳）: 最近の現実的な顔の合成の進歩は、合成訓練データが様々な顔関連コンピュータビジョンタスクの実際のデータを置き換えることができることを示した。 現実主義はどの程度重要か? フォトリアリズムの追求は過剰か? この作品では、そうでなければ示します。 我々は,表情に反応して動的皮膚しわを導入し,下流のコンピュータビジョンタスクにおいて有意な性能改善を観察することで,人工顔のリアリズムを高める。 それまでのアプローチでは、身元や表情にまたがる制限的なアーティストの努力が必要か、あるいは十分な忠実さで高周波の肌の詳細を再構築できなかったかのどちらかだった。 私たちの重要な貢献は、デジタル人間の多様で多様な集団に現実的なしわを生み出すアプローチです。 具体的には,メッシュ・テンションの概念を定式化し,高品質な表現スキャンからアルベドや変位テクスチャマップまで,可能なしわを集約する。 合成では、ソーススキャンで表現されない表現に対しても、これらのマップを使用してしわを生成する。 さらに,圧縮表現による変形時のモデル性能のより微妙な指標として,300Wウィンクス評価サブセットと閉鎖眼とウィンクスのペクセルデータセットを導入する。

関連論文リスト

• Digi2Real: Bridging the Realism Gap in Synthetic Data Face Recognition via Foundation Models [4.910937238451485]
  本稿では,合成顔画像のリアリズム向上を目的とした,リアリズム伝達のための新しいフレームワークを提案する。 グラフィクスパイプラインの制御可能な側面とリアリズム強化技術を統合することで、我々は大量のリアルなバリエーションを生成する。
  論文  参考訳（メタデータ） (2024-11-04T15:42:22Z)
• Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
  人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。 我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。 次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
  論文  参考訳（メタデータ） (2024-10-01T12:24:50Z)
• ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
  まず,合成から現実への新規な視点合成における合成データの影響について検討した。 本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。 提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
  論文  参考訳（メタデータ） (2023-03-20T12:06:14Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• SynFace: Face Recognition with Synthetic Data [83.15838126703719]
  我々は、ID混在(IM)とドメイン混在(DM)を併用したSynFaceを考案し、パフォーマンスギャップを緩和する。 また、合成顔画像の系統的実験分析を行い、合成データを顔認識に効果的に活用する方法についての知見を提供する。
  論文  参考訳（メタデータ） (2021-08-18T03:41:54Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Neural Face Models for Example-Based Visual Speech Synthesis [2.2817442144155207]
  マルチビュー映像に基づく顔の動きキャプチャのためのマーカーレスアプローチを提案する。 アニメーション中の表情をシームレスに表現するために,表情のニューラル表現を学習する。
  論文  参考訳（メタデータ） (2020-09-22T07:35:33Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。