論文の概要: SpecTracle: Wearable Facial Motion Tracking from Unobtrusive Peripheral Cameras

• arxiv url: http://arxiv.org/abs/2308.07502v1
• Date: Mon, 14 Aug 2023 23:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 14:29:49.447347
• Title: SpecTracle: Wearable Facial Motion Tracking from Unobtrusive Peripheral Cameras
• Title（参考訳）: SpecTracle:目立たない周辺カメラの顔の動き追跡機能
• Authors: Yinan Xuan, Varun Viswanath, Sunny Chu, Owen Bartolf, Jessica Echterhoff, and Edward Wang
• Abstract要約: ヘッドマウントディスプレイ(HMD)における顔の動き追跡は、仮想環境において没入的な「対面」インタラクションを可能にする可能性がある。 ホロレンスのバイザーのすぐ隣に設置された2台の広角カメラを用いて、ユーザの顔の動きを追跡するSpecTracleと呼ばれる新しいシステムを紹介した。
• 参考スコア（独自算出の注目度）: 0.6487242614495098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial motion tracking in head-mounted displays (HMD) has the potential to enable immersive "face-to-face" interaction in a virtual environment. However, current works on facial tracking are not suitable for unobtrusive augmented reality (AR) glasses or do not have the ability to track arbitrary facial movements. In this work, we demonstrate a novel system called SpecTracle that tracks a user's facial motions using two wide-angle cameras mounted right next to the visor of a Hololens. Avoiding the usage of cameras extended in front of the face, our system greatly improves the feasibility to integrate full-face tracking into a low-profile form factor. We also demonstrate that a neural network-based model processing the wide-angle cameras can run in real-time at 24 frames per second (fps) on a mobile GPU and track independent facial movement for different parts of the face with a user-independent model. Using a short personalized calibration, the system improves its tracking performance by 42.3% compared to the user-independent model.
• Abstract（参考訳）: ヘッドマウントディスプレイ(HMD)における顔の動き追跡は、仮想環境において没入的な「対面」インタラクションを可能にする可能性がある。 しかし、現在の顔追跡の研究は、邪魔にならない拡張現実(AR)メガネや、任意の顔の動きを追跡する能力に適していない。 本研究では,ホロレンスのバイザーのすぐ隣に設置された広角カメラ2台を用いて,ユーザの顔の動きを追跡するSpecTracleというシステムを紹介する。 顔の前面にカメラが伸びるのを避けるため、本システムはフルフェイストラッキングを低名なフォームファクタに統合する可能性を大幅に向上させる。 また、広角カメラを処理するニューラルネットワークベースのモデルが、モバイルGPU上で毎秒24フレーム(fps)でリアルタイムに動作し、ユーザ非依存のモデルで顔の異なる部分の独立した顔の動きを追跡することを実証した。 パーソナライズされたキャリブレーションを用いて、ユーザに依存しないモデルと比較してトラッキング性能を42.3%改善する。

関連論文リスト

• Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
  コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。 本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-07-17T22:08:15Z)
• 3D Face Tracking from 2D Video through Iterative Dense UV to Image Flow [15.479024531161476]
  本稿では,頂点ごとの高密度アライメントのための2次元アライメントネットワークを革新的に導入する新しいフェイストラッカーであるFlowFaceを提案する。 以前の作業とは異なり、FlowFaceは、弱い監視や合成データではなく、高品質な3Dスキャンアノテーションでトレーニングされている。 本手法は,カスタムベンチマークと公開ベンチマークの両方において,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T14:20:07Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• Smooth head tracking for virtual reality applications [0.0]
  本稿では,仮想3次元環境と人間と機械のリアルタイムインタラクションのための新しいヘッドトラッキングソリューションを提案する。 このソリューションは、RGBDデータを利用して、ユーザの頭の動きに応じて仮想カメラのポーズを計算する。
  論文  参考訳（メタデータ） (2021-10-27T05:47:21Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。