論文の概要: Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation

• arxiv url: http://arxiv.org/abs/2012.09235v2
• Date: Wed, 10 Mar 2021 15:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 03:03:03.877925
• Title: Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation
• Title（参考訳）: Shape My Face:表面から表面への変換による3D顔スキャンの登録
• Authors: Mehdi Bahri, Eimear O' Sullivan, Shunwang Gong, Feng Liu, Xiaoming Liu, Michael M. Bronstein, Stefanos Zafeiriou
• Abstract要約: Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。 私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
• 参考スコア（独自算出の注目度）: 75.59415852802958
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Standard registration algorithms need to be independently applied to each surface to register, following careful pre-processing and hand-tuning. Recently, learning-based approaches have emerged that reduce the registration of new scans to running inference with a previously-trained model. In this paper, we cast the registration task as a surface-to-surface translation problem, and design a model to reliably capture the latent geometric information directly from raw 3D face scans. We introduce Shape-My-Face (SMF), a powerful encoder-decoder architecture based on an improved point cloud encoder, a novel visual attention mechanism, graph convolutional decoders with skip connections, and a specialized mouth model that we smoothly integrate with the mesh convolutions. Compared to the previous state-of-the-art learning algorithms for non-rigid registration of face scans, SMF only requires the raw data to be rigidly aligned (with scaling) with a pre-defined face template. Additionally, our model provides topologically-sound meshes with minimal supervision, offers faster training time, has orders of magnitude fewer trainable parameters, is more robust to noise, and can generalize to previously unseen datasets. We extensively evaluate the quality of our registrations on diverse data. We demonstrate the robustness and generalizability of our model with in-the-wild face scans across different modalities, sensor types, and resolutions. Finally, we show that, by learning to register scans, SMF produces a hybrid linear and non-linear morphable model. Manipulation of the latent space of SMF allows for shape generation, and morphing applications such as expression transfer in-the-wild. We train SMF on a dataset of human faces comprising 9 large-scale databases on commodity hardware.
• Abstract（参考訳）: 標準登録アルゴリズムは、慎重に事前処理と手作業で登録するために各面に独立して適用する必要がある。 近年、学習に基づくアプローチにより、以前に訓練されたモデルによる推論の実行に対する新しいスキャンの登録を減らしている。 本稿では,登録タスクを表面から表面への変換問題としてキャストし,生の3d顔スキャンから直接潜在幾何情報を確実にキャプチャするモデルを設計する。 改良されたポイントクラウドエンコーダに基づく強力なエンコーダ・デコーダアーキテクチャであるShape-My-Face(SMF)、新しい視覚的アテンション機構、スキップ接続を備えたグラフ畳み込みデコーダ、メッシュ畳み込みをスムーズに統合する特殊な口モデルを紹介する。 以前の最先端の機械学習アルゴリズムによる顔スキャンの非厳密な登録と比較して、SMFは生データを事前に定義された顔テンプレートで厳格に整列させる必要がある。 さらに,我々のモデルでは,最小限の監視でトポロジカルなメッシュを提供し,より高速なトレーニング時間を提供し,トレーニング可能なパラメータを桁違いに削減し,ノイズに対してより頑健で,これまで見つからなかったデータセットに一般化することができる。 多様なデータに基づいて登録の質を広く評価する。 我々は,異なるモード,センサタイプ,解像度の面スキャンを用いて,モデルのロバスト性と一般化性を示す。 最後に,スキャンを登録する学習により,SMFは線形・非線形のハイブリッドモデルを生成することを示す。 SMFの潜伏空間のマニピュレーションは、表現の移動のような形状生成や形態形成の応用を可能にする。 コモディティハードウェア上で9つの大規模データベースからなる人間の顔のデータセット上でsmfをトレーニングする。

関連論文リスト

• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• Flatten Anything: Unsupervised Neural Surface Parameterization [76.4422287292541]
  本研究では,FAM(Flatten Anything Model)を導入し,グローバルな自由境界面パラメータ化を実現する。 従来の手法と比較して,FAMは接続情報を活用することなく,個別の面上で直接動作する。 当社のFAMは前処理を必要とせずに完全に自動化されており,高度に複雑なトポロジを扱うことができる。
  論文  参考訳（メタデータ） (2024-05-23T14:39:52Z)
• SPHEAR: Spherical Head Registration for Complete Statistical 3D Modeling [39.08979926878052]
  SPHEARは正確なパラメトリック統計学的3次元頭部モデルである。 これは、自動現実的なビジュアルデータ生成、セマンティックアノテーション、一般的な再構築タスクに使用できる。
  論文  参考訳（メタデータ） (2023-11-04T17:38:20Z)
• Instant Multi-View Head Capture through Learnable Registration [62.70443641907766]
  3次元頭部のデータセットを密接なセマンティック通信でキャプチャする既存の手法は遅い。 キャリブレーションされたマルチビュー画像から3Dヘッドを直接推定するためにTEMPEHを導入する。 1つの頭部の予測には0.3秒かかるが、中央値の復元誤差は0.26mmで、現在の最先端よりも64%低い。
  論文  参考訳（メタデータ） (2023-06-12T21:45:18Z)
• Deformable Model-Driven Neural Rendering for High-Fidelity 3D Reconstruction of Human Heads Under Low-View Settings [20.07788905506271]
  低視点で3Dの頭部を再構築することは技術的な課題を呈する。 幾何学的分解を提案し、2段階の粗大なトレーニング戦略を採用する。 提案手法は,低視野環境下での再現精度と新規ビュー合成の観点から,既存のニューラルレンダリング手法より優れる。
  論文  参考訳（メタデータ） (2023-03-24T08:32:00Z)
• Learning Neural Parametric Head Models [7.679586286000453]
  そこで本研究では,ハイブリッドニューラルネットワークを用いた人間の頭部の3次元形状モデルを提案する。 我々は,手動距離場(SDF)として標準空間内の人物の身元を捉え,ニューラルな変形場を持つ表情をモデル化する。 我々の表現は、顔のアンカーポイントを中心とした局所フィールドのアンサンブルを導入することで、高忠実な局所詳細を実現する。
  論文  参考訳（メタデータ） (2022-12-06T05:24:42Z)
• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)
• Unsupervised Diffeomorphic Surface Registration and Non-Linear Modelling [4.761477900658674]
  低次元確率変形モデル(PDM)を内包する3次元曲面の1段階登録モデルを提案する。 変形は、指数層を用いて微分同相に制約される。 1段階の登録モデルは反復的手法に対してベンチマークされ、高いコンパクト性に適合する形状でわずかに低い性能で取引される。
  論文  参考訳（メタデータ） (2021-09-28T11:47:12Z)
• Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration [67.69257782645789]
  本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。 パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。