論文の概要: VR Facial Animation for Immersive Telepresence Avatars
- arxiv url: http://arxiv.org/abs/2304.12051v1
- Date: Mon, 24 Apr 2023 12:43:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 15:04:49.517998
- Title: VR Facial Animation for Immersive Telepresence Avatars
- Title(参考訳): 没入型テレプレゼンスアバターのためのvr顔アニメーション
- Authors: Andre Rochow, Max Schwarz, Michael Schreiber, Sven Behnke
- Abstract要約: VRヘッドセットが装着されている場合でも、顔の鮮明な視界を必要とするアプリケーションには、VR顔アニメーションが必要である。
特定の演算子に対して非常に高速な適応が可能なリアルタイム能動パイプラインを提案する。
1分以内でトレーニングできる視線追跡パイプラインを実演します。
- 参考スコア(独自算出の注目度): 25.506570225219406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: VR Facial Animation is necessary in applications requiring clear view of the
face, even though a VR headset is worn. In our case, we aim to animate the face
of an operator who is controlling our robotic avatar system. We propose a
real-time capable pipeline with very fast adaptation for specific operators. In
a quick enrollment step, we capture a sequence of source images from the
operator without the VR headset which contain all the important
operator-specific appearance information. During inference, we then use the
operator keypoint information extracted from a mouth camera and two eye cameras
to estimate the target expression and head pose, to which we map the appearance
of a source still image. In order to enhance the mouth expression accuracy, we
dynamically select an auxiliary expression frame from the captured sequence.
This selection is done by learning to transform the current mouth keypoints
into the source camera space, where the alignment can be determined accurately.
We, furthermore, demonstrate an eye tracking pipeline that can be trained in
less than a minute, a time efficient way to train the whole pipeline given a
dataset that includes only complete faces, show exemplary results generated by
our method, and discuss performance at the ANA Avatar XPRIZE semifinals.
- Abstract(参考訳): VRヘッドセットが装着されている場合でも、顔の鮮明な視界を必要とするアプリケーションには、VR顔アニメーションが必要である。
本稿では,ロボットアバターシステムを制御する操作者の顔をアニメーション化することを目的とする。
特定の演算子に非常に高速に適応したリアルタイムなパイプラインを提案する。
簡単な登録ステップで、重要なオペレータ固有の外観情報を含むvrヘッドセットなしでオペレータからのソースイメージのシーケンスをキャプチャする。
推測の際には,マウスカメラと2台のアイカメラから抽出した操作者キーポイント情報を用いて,対象の表情と頭部ポーズを推定し,ソース静止画像の外観をマッピングする。
口頭表現精度を向上させるため,キャプチャしたシーケンスから補助表現フレームを動的に選択する。
この選択は、現在の口のキーポイントをソースカメラ空間に変換することを学び、アライメントを正確に決定することができる。
さらに,1分未満でトレーニング可能なアイトラッキングパイプライン,完全な顔のみを含むデータセットを与えられたパイプライン全体のトレーニングに要する時間効率のよい方法を示し,本手法による模範的な結果を示し,anaアバターxprizeセミファイナルにおけるパフォーマンスについて議論する。
関連論文リスト
- Real-Time Simulated Avatar from Head-Mounted Sensors [75.00477253117535]
我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。
カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。
体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
論文 参考訳(メタデータ) (2024-03-11T16:15:51Z) - Attention-Based VR Facial Animation with Visual Mouth Camera Guidance
for Immersive Telepresence Avatars [19.70403947793871]
本稿では,マウスカメラのキーポイントと直接視覚誘導を併用したハイブリッド手法を提案する。
提案手法は,未知の演算子に一般化され,短いビデオ2本をキャプチャして簡単なエンロラメントステップのみを必要とする。
我々は、ANAアバターXPRIZEファイナルでの勝利に顔のアニメーションがどう貢献したかを強調した。
論文 参考訳(メタデータ) (2023-12-15T12:45:11Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳(メタデータ) (2023-11-22T19:13:00Z) - AvatarStudio: Text-driven Editing of 3D Dynamic Human Head Avatars [84.85009267371218]
本研究では,動的なフルヘッドアバターの外観を編集するテキストベースのAvatarStudioを提案する。
提案手法は,ニューラルフィールド(NeRF)を用いて人間の頭部のダイナミックなパフォーマンスを捉え,テキスト・ツー・イメージ拡散モデルを用いてこの表現を編集する。
提案手法は,全頭部を標準空間で編集し,事前学習した変形ネットワークを介して残時間ステップに伝達する。
論文 参考訳(メタデータ) (2023-06-01T11:06:01Z) - 4D Agnostic Real-Time Facial Animation Pipeline for Desktop Scenarios [8.274472944075713]
アニメーターがデスクトップ上で使用するのに適した,高精度なリアルタイム顔アニメーションパイプラインを提案する。
システムにより、アニメーターは、簡単かつ迅速に高品質な顔アニメーションを作成できる。
われわれのアプローチは、エンターテイメント業界における顔のアニメーションのやり方に革命をもたらす可能性がある。
論文 参考訳(メタデータ) (2023-04-06T01:32:58Z) - Towards a Pipeline for Real-Time Visualization of Faces for VR-based
Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。
本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
論文 参考訳(メタデータ) (2023-01-04T08:49:51Z) - Audio2Head: Audio-driven One-shot Talking-head Generation with Natural
Head Motion [34.406907667904996]
単一の参照画像から写真リアルなトーキングヘッド映像を生成するための音声駆動型トーキングヘッド手法を提案する。
動き認識型リカレントニューラルネットワーク(RNN)を用いた剛性6次元頭部運動のモデル化により,まず頭部ポーズ予測器を設計する。
そこで我々は,入力音声,頭部ポーズ,参照画像から高密度な運動場を生成する運動場生成装置を開発した。
論文 参考訳(メタデータ) (2021-07-20T07:22:42Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳(メタデータ) (2020-11-06T23:17:12Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳(メタデータ) (2020-08-11T22:28:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。