論文の概要: REFA: Real-time Egocentric Facial Animations for Virtual Reality

• arxiv url: http://arxiv.org/abs/2601.03507v1
• Date: Wed, 07 Jan 2026 01:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.167299
• Title: REFA: Real-time Egocentric Facial Animations for Virtual Reality
• Title（参考訳）: REFA: バーチャルリアリティのためのリアルタイムエゴセントリックな顔アニメーション
• Authors: Qiang Zhang, Tong Xiao, Haroun Habeeb, Larissa Laich, Sofien Bouaziz, Patrick Snape, Wenjing Zhang, Matthew Cioffi, Peizhao Zhang, Pavel Pidlypenskyi, Winnie Lin, Luming Ma, Mengjiao Wang, Kunpeng Li, Chengjiang Long, Steven Song, Martin Prazak, Alexander Sjoholm, Ajinkya Deogade, Jaebong Lee, Julio Delgado Mangas, Amaury Aubel,
• Abstract要約: バーチャルリアリティー(VR)ヘッドセットに埋め込まれた赤外線カメラのセットから得られたエゴセントリックなビューを用いて,表情をリアルタイムに追跡するシステムを提案する。 我々の技術は、仮想キャラクタの表情を非侵襲的に正確に駆動するのに役立つ。
• 参考スコア（独自算出の注目度）: 56.82169742343143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel system for real-time tracking of facial expressions using egocentric views captured from a set of infrared cameras embedded in a virtual reality (VR) headset. Our technology facilitates any user to accurately drive the facial expressions of virtual characters in a non-intrusive manner and without the need of a lengthy calibration step. At the core of our system is a distillation based approach to train a machine learning model on heterogeneous data and labels coming form multiple sources, \eg synthetic and real images. As part of our dataset, we collected 18k diverse subjects using a lightweight capture setup consisting of a mobile phone and a custom VR headset with extra cameras. To process this data, we developed a robust differentiable rendering pipeline enabling us to automatically extract facial expression labels. Our system opens up new avenues for communication and expression in virtual environments, with applications in video conferencing, gaming, entertainment, and remote collaboration.
• Abstract（参考訳）: バーチャルリアリティー(VR)ヘッドセットに埋め込まれた赤外線カメラのセットから得られたエゴセントリックなビューを用いて,表情をリアルタイムに追跡するシステムを提案する。 我々の技術は、利用者が長いキャリブレーションステップを必要とせず、侵入的でない方法でバーチャルキャラクタの表情を正確に駆動することを可能にする。 我々のシステムの中核は、不均一なデータとラベルが複数のソース、すなわち合成画像と実画像に現れるような機械学習モデルを訓練するための蒸留ベースのアプローチである。 データセットの一部として、携帯電話と追加カメラを備えたカスタムVRヘッドセットで構成される軽量なキャプチャセットアップを使用して、18万の多様な被験者を収集しました。 このデータを処理するために,顔の表情ラベルを自動的に抽出することのできる,堅牢な微分可能なレンダリングパイプラインを開発した。 本システムでは,ビデオ会議,ゲーム,エンターテイメント,リモートコラボレーションなど,仮想環境におけるコミュニケーションと表現のための新たな道を開く。

関連論文リスト

• Audio Driven Real-Time Facial Animation for Social Telepresence [65.66220599734338]
  最小遅延時間で3次元顔アバターをアニメーションするオーディオ駆動リアルタイムシステムを提案する。 我々のアプローチの中心は、音声信号をリアルタイムに潜在表情シーケンスに変換するエンコーダモデルである。 我々は、リアルタイムなパフォーマンスを達成しつつ、自然なコミュニケーションに必要な表情の豊富なスペクトルを捉えている。
  論文  参考訳（メタデータ） (2025-10-01T17:57:05Z)
• Eye-See-You: Reverse Pass-Through VR and Head Avatars [6.514203459446675]
  RevAvatarは、リバースパススルー技術を可能にするためにAI方法論を活用する革新的なフレームワークである。 RevAvatarは最先端の生成モデルとマルチモーダルAI技術を統合して、高忠実度2D顔画像の再構成を行う。 多様なVR特有の条件をエミュレートするために設計された20万のサンプルからなる新しいデータセットであるVR-Faceを提示する。
  論文  参考訳（メタデータ） (2025-05-24T21:08:19Z)
• FRAME: Floor-aligned Representation for Avatar Motion from Egocentric Video [52.33896173943054]
  ヘッドマウントのボディフェイスステレオカメラを備えたエゴセントリックなモーションキャプチャーは、VRやARアプリケーションには不可欠だ。 既存の方法は、合成事前学習と、現実の環境で滑らかで正確な予測を生成するのに苦労している。 本稿では、デバイスポーズとカメラフィードを組み合わせて、最先端のボディポーズ予測を行う、シンプルで効果的なアーキテクチャFRAMEを提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:26:06Z)
• Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
  コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。 本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-07-17T22:08:15Z)
• VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality [39.53150683721031]
  提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。 私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
  論文  参考訳（メタデータ） (2024-01-30T01:28:36Z)
• From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
  音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。 ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。 実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T18:55:16Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• Facial Expression Recognition Under Partial Occlusion from Virtual Reality Headsets based on Transfer Learning [0.0]
  畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。 しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。 既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-12T20:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。