論文の概要: VR Facial Animation for Immersive Telepresence Avatars
- arxiv url: http://arxiv.org/abs/2304.12051v1
- Date: Mon, 24 Apr 2023 12:43:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 15:04:49.517998
- Title: VR Facial Animation for Immersive Telepresence Avatars
- Title（参考訳）: 没入型テレプレゼンスアバターのためのvr顔アニメーション
- Authors: Andre Rochow, Max Schwarz, Michael Schreiber, Sven Behnke
- Abstract要約: VRヘッドセットが装着されている場合でも、顔の鮮明な視界を必要とするアプリケーションには、VR顔アニメーションが必要である。
特定の演算子に対して非常に高速な適応が可能なリアルタイム能動パイプラインを提案する。
1分以内でトレーニングできる視線追跡パイプラインを実演します。
- 参考スコア（独自算出の注目度）: 25.506570225219406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: VR Facial Animation is necessary in applications requiring clear view of the
face, even though a VR headset is worn. In our case, we aim to animate the face
of an operator who is controlling our robotic avatar system. We propose a
real-time capable pipeline with very fast adaptation for specific operators. In
a quick enrollment step, we capture a sequence of source images from the
operator without the VR headset which contain all the important
operator-specific appearance information. During inference, we then use the
operator keypoint information extracted from a mouth camera and two eye cameras
to estimate the target expression and head pose, to which we map the appearance
of a source still image. In order to enhance the mouth expression accuracy, we
dynamically select an auxiliary expression frame from the captured sequence.
This selection is done by learning to transform the current mouth keypoints
into the source camera space, where the alignment can be determined accurately.
We, furthermore, demonstrate an eye tracking pipeline that can be trained in
less than a minute, a time efficient way to train the whole pipeline given a
dataset that includes only complete faces, show exemplary results generated by
our method, and discuss performance at the ANA Avatar XPRIZE semifinals.
- Abstract（参考訳）: VRヘッドセットが装着されている場合でも、顔の鮮明な視界を必要とするアプリケーションには、VR顔アニメーションが必要である。
本稿では,ロボットアバターシステムを制御する操作者の顔をアニメーション化することを目的とする。
特定の演算子に非常に高速に適応したリアルタイムなパイプラインを提案する。
簡単な登録ステップで、重要なオペレータ固有の外観情報を含むvrヘッドセットなしでオペレータからのソースイメージのシーケンスをキャプチャする。
推測の際には,マウスカメラと2台のアイカメラから抽出した操作者キーポイント情報を用いて,対象の表情と頭部ポーズを推定し,ソース静止画像の外観をマッピングする。
口頭表現精度を向上させるため,キャプチャしたシーケンスから補助表現フレームを動的に選択する。
この選択は、現在の口のキーポイントをソースカメラ空間に変換することを学び、アライメントを正確に決定することができる。
さらに,1分未満でトレーニング可能なアイトラッキングパイプライン,完全な顔のみを含むデータセットを与えられたパイプライン全体のトレーニングに要する時間効率のよい方法を示し,本手法による模範的な結果を示し,anaアバターxprizeセミファイナルにおけるパフォーマンスについて議論する。
関連論文リスト
- FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。
我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
論文 参考訳（メタデータ） (2024-09-20T03:17:01Z) - GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。
本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
論文 参考訳（メタデータ） (2024-07-17T22:08:15Z) - Real-Time Simulated Avatar from Head-Mounted Sensors [70.41580295721525]
我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。
カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。
体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
論文 参考訳（メタデータ） (2024-03-11T16:15:51Z) - Attention-Based VR Facial Animation with Visual Mouth Camera Guidance
for Immersive Telepresence Avatars [19.70403947793871]
本稿では,マウスカメラのキーポイントと直接視覚誘導を併用したハイブリッド手法を提案する。
提案手法は,未知の演算子に一般化され,短いビデオ2本をキャプチャして簡単なエンロラメントステップのみを必要とする。
我々は、ANAアバターXPRIZEファイナルでの勝利に顔のアニメーションがどう貢献したかを強調した。
論文 参考訳（メタデータ） (2023-12-15T12:45:11Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳（メタデータ） (2023-11-22T19:13:00Z) - Towards a Pipeline for Real-Time Visualization of Faces for VR-based
Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。
本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-04T08:49:51Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳（メタデータ） (2020-11-06T23:17:12Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳（メタデータ） (2020-08-11T22:28:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。