論文の概要: REFA: Real-time Egocentric Facial Animations for Virtual Reality

• arxiv url: http://arxiv.org/abs/2601.03507v1
• Date: Wed, 07 Jan 2026 01:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.167299
• Title: REFA: Real-time Egocentric Facial Animations for Virtual Reality
• Title（参考訳）: REFA: バーチャルリアリティのためのリアルタイムエゴセントリックな顔アニメーション
• Authors: Qiang Zhang, Tong Xiao, Haroun Habeeb, Larissa Laich, Sofien Bouaziz, Patrick Snape, Wenjing Zhang, Matthew Cioffi, Peizhao Zhang, Pavel Pidlypenskyi, Winnie Lin, Luming Ma, Mengjiao Wang, Kunpeng Li, Chengjiang Long, Steven Song, Martin Prazak, Alexander Sjoholm, Ajinkya Deogade, Jaebong Lee, Julio Delgado Mangas, Amaury Aubel,
• Abstract要約: バーチャルリアリティー(VR)ヘッドセットに埋め込まれた赤外線カメラのセットから得られたエゴセントリックなビューを用いて,表情をリアルタイムに追跡するシステムを提案する。 我々の技術は、仮想キャラクタの表情を非侵襲的に正確に駆動するのに役立つ。
• 参考スコア（独自算出の注目度）: 56.82169742343143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel system for real-time tracking of facial expressions using egocentric views captured from a set of infrared cameras embedded in a virtual reality (VR) headset. Our technology facilitates any user to accurately drive the facial expressions of virtual characters in a non-intrusive manner and without the need of a lengthy calibration step. At the core of our system is a distillation based approach to train a machine learning model on heterogeneous data and labels coming form multiple sources, \eg synthetic and real images. As part of our dataset, we collected 18k diverse subjects using a lightweight capture setup consisting of a mobile phone and a custom VR headset with extra cameras. To process this data, we developed a robust differentiable rendering pipeline enabling us to automatically extract facial expression labels. Our system opens up new avenues for communication and expression in virtual environments, with applications in video conferencing, gaming, entertainment, and remote collaboration.
• Abstract（参考訳）: バーチャルリアリティー(VR)ヘッドセットに埋め込まれた赤外線カメラのセットから得られたエゴセントリックなビューを用いて,表情をリアルタイムに追跡するシステムを提案する。 我々の技術は、利用者が長いキャリブレーションステップを必要とせず、侵入的でない方法でバーチャルキャラクタの表情を正確に駆動することを可能にする。 我々のシステムの中核は、不均一なデータとラベルが複数のソース、すなわち合成画像と実画像に現れるような機械学習モデルを訓練するための蒸留ベースのアプローチである。 データセットの一部として、携帯電話と追加カメラを備えたカスタムVRヘッドセットで構成される軽量なキャプチャセットアップを使用して、18万の多様な被験者を収集しました。 このデータを処理するために,顔の表情ラベルを自動的に抽出することのできる,堅牢な微分可能なレンダリングパイプラインを開発した。 本システムでは,ビデオ会議,ゲーム,エンターテイメント,リモートコラボレーションなど,仮想環境におけるコミュニケーションと表現のための新たな道を開く。

関連論文リスト

• Audio Driven Real-Time Facial Animation for Social Telepresence [65.66220599734338]
  最小遅延時間で3次元顔アバターをアニメーションするオーディオ駆動リアルタイムシステムを提案する。 我々のアプローチの中心は、音声信号をリアルタイムに潜在表情シーケンスに変換するエンコーダモデルである。 我々は、リアルタイムなパフォーマンスを達成しつつ、自然なコミュニケーションに必要な表情の豊富なスペクトルを捉えている。
  論文  参考訳（メタデータ） (2025-10-01T17:57:05Z)
• Eye-See-You: Reverse Pass-Through VR and Head Avatars [6.514203459446675]
  RevAvatarは、リバースパススルー技術を可能にするためにAI方法論を活用する革新的なフレームワークである。 RevAvatarは最先端の生成モデルとマルチモーダルAI技術を統合して、高忠実度2D顔画像の再構成を行う。 多様なVR特有の条件をエミュレートするために設計された20万のサンプルからなる新しいデータセットであるVR-Faceを提示する。
  論文  参考訳（メタデータ） (2025-05-24T21:08:19Z)
• Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
  コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。 本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-07-17T22:08:15Z)
• From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
  音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。 ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。 実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T18:55:16Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。