論文の概要: Deep Learning-Based Quasi-Conformal Surface Registration for Partial 3D Faces Applied to Facial Recognition
- arxiv url: http://arxiv.org/abs/2405.09880v1
- Date: Thu, 16 May 2024 08:03:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 15:01:20.808420
- Title: Deep Learning-Based Quasi-Conformal Surface Registration for Partial 3D Faces Applied to Facial Recognition
- Title（参考訳）: 顔認識に応用した部分的3次元顔の深層学習による準等角面の登録
- Authors: Yuchen Guo, Hanqun Cao, Lok Ming Lui,
- Abstract要約: 3D顔登録は、3D顔モデルを整列し、テンプレートフェイスにマッピングする重要なプロセスである。
本稿では, 疑似等角形状と深層ニューラルネットワークを併用し, 顔部分登録を行う新しい深層学習手法を提案する。
- 参考スコア（独自算出の注目度）: 13.426313868579827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D face registration is an important process in which a 3D face model is aligned and mapped to a template face. However, the task of 3D face registration becomes particularly challenging when dealing with partial face data, where only limited facial information is available. To address this challenge, this paper presents a novel deep learning-based approach that combines quasi-conformal geometry with deep neural networks for partial face registration. The proposed framework begins with a Landmark Detection Network that utilizes curvature information to detect the presence of facial features and estimate their corresponding coordinates. These facial landmark features serve as essential guidance for the registration process. To establish a dense correspondence between the partial face and the template surface, a registration network based on quasiconformal theories is employed. The registration network establishes a bijective quasiconformal surface mapping aligning corresponding partial faces based on detected landmarks and curvature values. It consists of the Coefficients Prediction Network, which outputs the optimal Beltrami coefficient representing the surface mapping. The Beltrami coefficient quantifies the local geometric distortion of the mapping. By controlling the magnitude of the Beltrami coefficient through a suitable activation function, the bijectivity and geometric distortion of the mapping can be controlled. The Beltrami coefficient is then fed into the Beltrami solver network to reconstruct the corresponding mapping. The surface registration enables the acquisition of corresponding regions and the establishment of point-wise correspondence between different partial faces, facilitating precise shape comparison through the evaluation of point-wise geometric differences at these corresponding regions. Experimental results demonstrate the effectiveness of the proposed method.
- Abstract（参考訳）: 3D顔登録は、3D顔モデルを整列し、テンプレートフェイスにマッピングする重要なプロセスである。
しかし, 顔情報に制限がある部分的な顔データを扱う場合, 3次元顔登録の課題は特に困難となる。
この課題に対処するために, 準等角形状と深層ニューラルネットワークを組み合わせた, 深層学習に基づく新しいアプローチを提案する。
提案するフレームワークは、曲率情報を用いて顔の特徴を検出し、対応する座標を推定するランドマーク検出ネットワークから始まる。
これらの顔のランドマークは、登録プロセスに不可欠なガイダンスとなる。
部分面とテンプレート面との密接な対応を確立するために、準等角理論に基づく登録ネットワークを用いる。
登録ネットワークは、検出されたランドマークと曲率値に基づいて、対応する部分面を整列する主観的準等角面マッピングを確立する。
これは、表面マッピングを表す最適なベルトラミ係数を出力する係数予測ネットワークで構成されている。
ベルトラミ係数は、写像の局所的な幾何学的歪みを定量化する。
適切な活性化関数によってベルトラミ係数の大きさを制御することにより、写像の単射性と幾何学的歪みを制御することができる。
ベルトラミ係数はベルラミソルバネットワークに供給され、対応する写像を再構成する。
表面登録は、対応する領域の取得と、異なる部分面間のポイントワイド対応の確立を可能にし、これらの領域におけるポイントワイド幾何学的差異の評価を通じて、正確な形状比較を容易にする。
実験の結果,提案手法の有効性が示された。
関連論文リスト
- InfoNorm: Mutual Information Shaping of Normals for Sparse-View Reconstruction [15.900375207144759]
多視点画像からの3次元表面再構成はシーン理解とインタラクションに不可欠である。
ニューラルレージアンス場(NeRF)や符号付き距離関数(SDF)といった近年の暗黙的な表面表現は、観測情報の欠如を解決するために様々な幾何学的先行法を用いている。
本稿では,高度に相関したシーンポイントの表面正規化における相互情報を明確に促進することにより,幾何学的モデリングの正規化を提案する。
論文 参考訳（メタデータ） (2024-07-17T15:46:25Z) - Neural Semantic Surface Maps [52.61017226479506]
本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。
提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
論文 参考訳（メタデータ） (2023-09-09T16:21:56Z) - Semantic-aware One-shot Face Re-enactment with Dense Correspondence
Estimation [100.60938767993088]
ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。
本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
論文 参考訳（メタデータ） (2022-11-23T03:02:34Z) - Automatic Landmark Detection and Registration of Brain Cortical Surfaces
via Quasi-Conformal Geometry and Convolutional Neural Networks [17.78250777571423]
本稿では,脳皮質表面の自動的ランドマーク検出と登録のための新しい枠組みを提案する。
まず,ランドマーク曲線の自動抽出を可能にするランドマーク検出ネットワーク(LD-Net)を開発した。
次に,検出されたランドマークと準コンフォーマル理論を用いて表面登録を行う。
論文 参考訳（メタデータ） (2022-08-15T05:47:51Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳（メタデータ） (2021-10-06T17:55:08Z) - Deep Implicit Surface Point Prediction Networks [49.286550880464866]
暗黙の関数としての3次元形状の深い神経表現は、高忠実度モデルを生成することが示されている。
本稿では,CSP(Nest Surface-point)表現と呼ばれる新しい種類の暗黙の表現を用いて,そのような曲面をモデル化する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-10T14:31:54Z) - Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout
for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
提案手法の性能は, 広く使用されている3つのデータセットで評価される。
ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
論文 参考訳（メタデータ） (2021-06-08T13:40:30Z) - Locally Aware Piecewise Transformation Fields for 3D Human Mesh
Registration [67.69257782645789]
本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。
パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
論文 参考訳（メタデータ） (2021-04-16T15:16:09Z) - DualConv: Dual Mesh Convolutional Networks for Shape Correspondence [44.94765770516059]
畳み込みニューラルネットワークは2d画像で非常に成功し、3dボクセルデータを扱うために容易に拡張されている。
本稿では,これらのネットワークを三角メッシュの二重面表現に拡張する方法を検討する。
実験により,二重メッシュの近傍サイズの正則性を明示的に活用した畳み込みモデルの構築により,従来の手法と同等以上の形状表現を学習できることを実証した。
論文 参考訳（メタデータ） (2021-03-23T11:22:47Z) - LARNet: Lie Algebra Residual Network for Profile Face Recognition [5.968418413932049]
畳み込みニューラルネットワーク(CNN)の深部特徴生成過程に3次元空間における顔の回転がどう影響するかを,リー代数理論を用いた新しい手法を提案する。
画像空間における顔の回転は、回転によってのみ決定されるCNNの特徴空間における付加残留成分と等価であることが証明される。
LARNetの設計は、入力された顔画像から回転情報を復号するための残差と、特徴学習プロセスに寄与する残差成分数を制御するための学習回転度とから構成される。
論文 参考訳（メタデータ） (2021-03-15T05:44:54Z) - Shape My Face: Registering 3D Face Scans by Surface-to-Surface
Translation [75.59415852802958]
Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。
私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
論文 参考訳（メタデータ） (2020-12-16T20:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。