論文の概要: Real-Time Monocular 4D Face Reconstruction using the LSFM models
- arxiv url: http://arxiv.org/abs/2006.10499v1
- Date: Fri, 22 May 2020 02:14:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 09:24:08.197067
- Title: Real-Time Monocular 4D Face Reconstruction using the LSFM models
- Title（参考訳）: LSFMモデルを用いたリアルタイムモノクロ4次元顔再構成
- Authors: Mohammad Rami Koujan, Nikolai Dochev, Anastasios Roussos
- Abstract要約: これは、最近リリースされたLarge-Scale Facial Models (LSFM)の機能を実際にテストする機会を提供する、初めてのリアルタイムデモである。
- 参考スコア（独自算出の注目度）: 4.553666554354139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 4D face reconstruction from a single camera is a challenging task, especially
when it is required to be performed in real time. We demonstrate a system of
our own implementation that solves this task accurately and runs in real time
on a commodity laptop, using a webcam as the only input. Our system is
interactive, allowing the user to freely move their head and show various
expressions while standing in front of the camera. As a result, the put forward
system both reconstructs and visualises the identity of the subject in the
correct pose along with the acted facial expressions in real-time. The 4D
reconstruction in our framework is based on the recently-released Large-Scale
Facial Models (LSFM) \cite{LSFM1, LSFM2}, which are the largest-scale 3D
Morphable Models of facial shapes ever constructed, based on a dataset of more
than 10,000 facial identities from a wide range of gender, age and ethnicity
combinations. This is the first real-time demo that gives users the opportunity
to test in practice the capabilities of the recently-released Large-Scale
Facial Models (LSFM)
- Abstract（参考訳）: 1台のカメラからの4d顔再構成は、特にリアルタイムに行う必要がある場合、難しい課題である。
我々は、ウェブカメラを唯一の入力として使用して、このタスクを正確に解決し、コモディティラップトップ上でリアルタイムに実行される独自の実装のシステムを実証する。
我々のシステムは対話的であり、ユーザーはカメラの前に立って自由に頭を動かし、様々な表情を見せることができる。
その結果、提案システムでは、動作した表情とともに、適切なポーズにおける被写体のアイデンティティをリアルタイムで再構築および可視化する。
我々のフレームワークの4D再構成は、最近リリースされた大規模な顔モデル(LSFM) \cite{LSFM1, LSFM2} に基づいており、これはこれまでに構築された顔形状の最大の3D形態モデルであり、幅広い性別、年齢、民族の組み合わせから1万以上の顔のアイデンティティのデータセットに基づいている。
これは、最近リリースされたLarge-Scale Facial Models (LSFM)の機能を実際にテストする機会を提供する、初めてのリアルタイムデモである。
関連論文リスト
- Face-MLLM: A Large Face Perception Model [53.9441375205716]
マルチモーダルな大規模言語モデル(MLLM)は、幅広い視覚言語タスクにおいて有望な結果を得たが、人間の顔を知覚し理解する能力はめったに研究されていない。
本研究では,顔認識タスクにおける既存のMLLMを包括的に評価する。
本モデルは,5つの顔認識タスクにおいて,従来のMLLMを超えている。
論文 参考訳（メタデータ） (2024-10-28T04:19:32Z) - SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。
本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
論文 参考訳（メタデータ） (2024-09-12T12:30:04Z) - VRMM: A Volumetric Relightable Morphable Head Model [55.21098471673929]
本稿では,3次元顔モデリングに先立って,新しい容積・パラメトリック顔モデルであるVRMMを紹介する。
我々のフレームワークは、アイデンティティ、表現、照明の潜在空間を、低次元の表現に効率的に切り離し、エンコードする。
我々は,アバター生成,顔の再構成,アニメーションなどの様々な応用を通じて,VRMMの汎用性と有効性を示す。
論文 参考訳（メタデータ） (2024-02-06T15:55:46Z) - A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳（メタデータ） (2023-12-31T17:41:48Z) - FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
拡散型3次元顔アバター生成モデルFitDiffを提案する。
本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。
FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
論文 参考訳（メタデータ） (2023-12-07T17:35:49Z) - High-fidelity Facial Avatar Reconstruction from Monocular Video with
Generative Priors [29.293166730794606]
そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。
既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
論文 参考訳（メタデータ） (2022-11-28T04:49:46Z) - LiP-Flow: Learning Inference-time Priors for Codec Avatars via
Normalizing Flows in Latent Space [90.74976459491303]
実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。
正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。
提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
論文 参考訳（メタデータ） (2022-03-15T13:22:57Z) - Learning Complete 3D Morphable Face Models from Images and Videos [88.34033810328201]
本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。
既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。
論文 参考訳（メタデータ） (2020-10-04T20:51:23Z) - Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with
an RGB-D camera [2.3260877354419254]
コンシューマグレードのRGB-Dカメラを用いたリアルタイムアニメーション3Dヘッドモデルの構築手法を提案する。
誰でも頭は即座に再構築でき、顔の動きは訓練や事前スキャンを必要とせずに撮影できる。
論文 参考訳（メタデータ） (2020-04-22T13:22:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。