Fugu-MT 論文翻訳(概要): Blendshapes GHUM: Real-time Monocular Facial Blendshape Prediction

論文の概要: Blendshapes GHUM: Real-time Monocular Facial Blendshape Prediction

arxiv url: http://arxiv.org/abs/2309.05782v1
Date: Mon, 11 Sep 2023 19:29:26 GMT
ステータス: 処理完了
システム内更新日: 2023-09-13 15:31:39.132422
Title: Blendshapes GHUM: Real-time Monocular Facial Blendshape Prediction
Title（参考訳）: Blendshapes GHUM: Real-time Monocular Facial Blendshape Prediction
Authors: Ivan Grishchenko, Geng Yan, Eduard Gabriel Bazavan, Andrei Zanfir, Nikolai Chinaev, Karthik Raveendran, Matthias Grundmann, Cristian Sminchisescu
Abstract要約: Blendshapes GHUMはデバイス上のMLパイプラインで、現代の携帯電話で30以上のFPSで52の顔のブレンドシェープ係数を予測する。本研究の主な貢献は, 実世界の人体スキャンからブレンドシェープ係数を得るためのアノテーションのないオフライン手法であり, 顔のランドマークに基づいてブレンドシェープ係数を予測する軽量リアルタイムモデルである。
参考スコア（独自算出の注目度）: 24.972031951024007
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Blendshapes GHUM, an on-device ML pipeline that predicts 52 facial blendshape coefficients at 30+ FPS on modern mobile phones, from a single monocular RGB image and enables facial motion capture applications like virtual avatars. Our main contributions are: i) an annotation-free offline method for obtaining blendshape coefficients from real-world human scans, ii) a lightweight real-time model that predicts blendshape coefficients based on facial landmarks.
Abstract（参考訳）: Blendshapes GHUMは、デバイス上のMLパイプラインで、現代の携帯電話で、単眼のRGB画像から、52の顔ブレンドシェープ係数を30以上のFPSで予測し、仮想アバターのような顔の動きを捉えることができる。私たちの主な貢献は一実世界の人体スキャンからブレンド形状係数を得るための注釈なしオフライン方法二顔のランドマークに基づいてブレンド形状係数を予測する軽量リアルタイムモデル。

関連論文リスト

3D Gaussian Blendshapes for Head Avatar Animation [31.488663463060416]
フォトリアリスティックヘッドアバターをモデル化するための3次元ガウス混合モデルを提案する。任意の表現のアバターモデルは、中立モデルと表現が混在することで効果的に生成することができる。高忠実度頭部アバターアニメーションはガウススプラッティングを用いてリアルタイムで合成できる。
論文参考訳（メタデータ） (2024-04-30T09:45:41Z)
FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
動的顔の3Dレンダリングは難しい問題である。本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
論文参考訳（メタデータ） (2024-04-22T00:44:13Z)
Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。モデル化された結果が最先端のアプローチを上回る実験を行ないました。
論文参考訳（メタデータ） (2024-03-18T04:01:26Z)
SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting [26.849406891462557]
トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。 SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
論文参考訳（メタデータ） (2024-03-08T06:28:09Z)
High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering [15.009484906668737]
メッシュをベースとしたブレンドシェイプリグを,シングルあるいはスパースなマルチビュービデオから再構成する新しい手法を提案する。実験により,シングルあるいはスパースなマルチビュービデオのフレキシブルな入力により,パーソナライズされた高忠実度ブレンドサップを再構築することを示した。
論文参考訳（メタデータ） (2024-01-16T14:41:31Z)
FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文参考訳（メタデータ） (2023-10-26T16:13:00Z)
FitMe: Deep Photorealistic 3D Morphable Model Avatars [119.03325450951074]
顔の反射率モデルと異なるレンダリングパイプラインであるFitMeを紹介する。 FitMe は、単一の "in-the-wild" 顔画像に対して、最先端のリフレクタンス取得とアイデンティティ保護を実現する。最近の暗黙のアバター再構成とは対照的に、FitMeはわずか1分で、リライト可能なメッシュとテクスチャベースのアバターを生成する。
論文参考訳（メタデータ） (2023-05-16T17:42:45Z)
Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文参考訳（メタデータ） (2023-03-21T14:41:25Z)
Monocular Real-time Full Body Capture with Inter-part Correlations [66.22835689189237]
本稿では,体と手の形状と運動を1色画像から動的3次元顔モデルと共に推定する,実時間フルボディキャプチャの最初の手法を提案する。提案手法では,体と手の相関を高い計算効率で活用する新しいニューラルネットワークアーキテクチャを用いる。
論文参考訳（メタデータ） (2020-12-11T02:37:56Z)
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。登録された画像に対して,60fpsで3次元フローマップを生成する。
論文参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。