論文の概要: FacialMotionID: Identifying Users of Mixed Reality Headsets using Abstract Facial Motion Representations
- arxiv url: http://arxiv.org/abs/2507.11138v1
- Date: Tue, 15 Jul 2025 09:40:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:03.060468
- Title: FacialMotionID: Identifying Users of Mixed Reality Headsets using Abstract Facial Motion Representations
- Title（参考訳）: FacialMotionID:抽象的な顔の動き表現を用いた混合現実感のユーザ同定
- Authors: Adriano Castro, Simon Hanisch, Matin Fallahi, Thorsten Strufe,
- Abstract要約: 複合現実ヘッドセットにおける顔の動きのキャプチャにより、リアルタイムなアバターアニメーションが可能になり、仮想インタラクション中に非言語的な手がかりを伝達することができる。
顔の動きデータが行動のバイオメトリックを構成するため、その使用は新たなプライバシー上の懸念を提起する。
116名の被験者を対象に,3つのセッションで3種類のヘッドセットを用いて,言語・非言語課題における顔・目・頭の動きデータを収集した。
分析の結果、このデータから最大98%の精度で個人を再同定でき、デバイスの種類によっても識別可能であり、感情状態は最大86%の精度で推測可能であることがわかった。
- 参考スコア（独自算出の注目度）: 2.9136421025415213
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Facial motion capture in mixed reality headsets enables real-time avatar animation, allowing users to convey non-verbal cues during virtual interactions. However, as facial motion data constitutes a behavioral biometric, its use raises novel privacy concerns. With mixed reality systems becoming more immersive and widespread, understanding whether face motion data can lead to user identification or inference of sensitive attributes is increasingly important. To address this, we conducted a study with 116 participants using three types of headsets across three sessions, collecting facial, eye, and head motion data during verbal and non-verbal tasks. The data used is not raw video, but rather, abstract representations that are used to animate digital avatars. Our analysis shows that individuals can be re-identified from this data with up to 98% balanced accuracy, are even identifiable across device types, and that emotional states can be inferred with up to 86% accuracy. These results underscore the potential privacy risks inherent in face motion tracking in mixed reality environments.
- Abstract（参考訳）: 複合現実ヘッドセットにおける顔の動きのキャプチャにより、リアルタイムなアバターアニメーションが可能になり、仮想インタラクション中に非言語的な手がかりを伝達することができる。
しかし、顔の動きデータが行動バイオメトリックを構成するため、その使用は新たなプライバシー上の懸念を提起する。
複合現実感システムがより没入的で広く普及するにつれて、顔の動きデータがユーザの識別や機密属性の推測に繋がるかどうかを理解することがますます重要である。
これを解決するために,3つのセッションで3種類のヘッドセットを用いて116人の被験者を対象に,言語・非言語課題における顔・目・頭の動きデータを収集した。
使用されるデータは生のビデオではなく、デジタルアバターのアニメーションに使用される抽象的な表現である。
分析の結果、このデータから最大98%の精度で個人を再同定でき、デバイスの種類によっても識別可能であり、感情状態は最大86%の精度で推測可能であることがわかった。
これらの結果は、複合現実環境における顔の動き追跡に固有の潜在的なプライバシーリスクを浮き彫りにしている。
関連論文リスト
- Is It Really You? Exploring Biometric Verification Scenarios in Photorealistic Talking-Head Avatar Videos [12.12643642515884]
攻撃者はユーザーのアバターを盗み、外見や声を保ち、視覚や音だけでその使用を検知することはほぼ不可能である。
我々の主な疑問は、個人の顔の動きパターンが、アバターの視覚的外観が所有者のファクシミリであるときに、自分の身元を確認するための信頼性のある行動バイオメトリックスとして機能するかどうかである。
実験の結果,顔の動きのランドマークは,80%に近づいたAUC値による有意義な識別を可能にすることが示された。
論文 参考訳（メタデータ） (2025-08-01T16:23:27Z) - VisualSpeaker: Visually-Guided 3D Avatar Lip Synthesis [70.76837748695841]
視覚音声認識によって教師される写真リアルな微分可能レンダリングを用いてギャップを埋める新しい手法であるVisualSpeakerを提案する。
我々の貢献は、訓練中に訓練済みの視覚自動音声認識モデルを通して3Dガウス・スプティング・アバターレンダリングを通過させることによって得られる、知覚的な唇読影損失である。
MEADデータセットの評価は、VisualSpeakerが標準のLip Vertex Errorメトリックを56.1%改善し、生成されたアニメーションの知覚的品質を向上し、メッシュ駆動アニメーションの制御性を維持していることを示している。
論文 参考訳（メタデータ） (2025-07-08T15:04:17Z) - Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。
本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
論文 参考訳（メタデータ） (2024-07-17T22:08:15Z) - AniTalker: Animate Vivid and Diverse Talking Faces through Identity-Decoupled Facial Motion Encoding [24.486705010561067]
AniTalkerは、1つのポートレートから、生き生きとした話し顔を生成するために設計されたフレームワークである。
AniTalkerは、微妙な表情や頭の動きを含む、幅広い顔のダイナミクスを効果的にキャプチャする。
論文 参考訳（メタデータ） (2024-05-06T02:32:41Z) - From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。
ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。
実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
論文 参考訳（メタデータ） (2024-01-03T18:55:16Z) - Attention-Based VR Facial Animation with Visual Mouth Camera Guidance
for Immersive Telepresence Avatars [19.70403947793871]
本稿では,マウスカメラのキーポイントと直接視覚誘導を併用したハイブリッド手法を提案する。
提案手法は,未知の演算子に一般化され,短いビデオ2本をキャプチャして簡単なエンロラメントステップのみを必要とする。
我々は、ANAアバターXPRIZEファイナルでの勝利に顔のアニメーションがどう貢献したかを強調した。
論文 参考訳（メタデータ） (2023-12-15T12:45:11Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳（メタデータ） (2023-07-04T21:57:05Z) - Unique Identification of 50,000+ Virtual Reality Users from Head & Hand
Motion Data [58.27542320038834]
多数のリアルVRユーザーが頭と手の動きだけで複数のセッションで一意かつ確実に識別できることを示す。
個人あたり5分のデータで分類モデルをトレーニングした後、ユーザーは100秒の動作から94.33%の精度で50,000以上のプール全体で一意に識別することができる。
この研究は、バイオメカニクスがVRのユニークな識別子として機能しうる範囲を、顔認証や指紋認識などの広く使われている生体認証と同等に真に示す最初のものである。
論文 参考訳（メタデータ） (2023-02-17T15:05:18Z) - Towards Inclusive HRI: Using Sim2Real to Address Underrepresentation in
Emotion Expression Recognition [5.819149317261972]
我々は、より透明で包括的な方法で人間を知覚できるシステムを構築することを目指している。
我々は、Sim2Realアプローチを使い、3Dシミュレーションされた人間のモデルスイートを使用します。
4536個のサンプルを含む合成データセットを用いて、小さな動的感情表現データセットを増強することにより、精度15%の改善を実現した。
論文 参考訳（メタデータ） (2022-08-15T23:37:13Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳（メタデータ） (2020-08-11T22:28:48Z) - Investigating the Impact of Inclusion in Face Recognition Training Data
on Individual Face Identification [93.5538147928669]
最新のオープンソースの顔認識システムであるArcFaceを、100万枚以上の散らばった画像を用いた大規模な顔識別実験で監査する。
モデルのトレーニングデータには79.71%、存在しない人には75.73%のランク1顔認証精度がある。
論文 参考訳（メタデータ） (2020-01-09T15:50:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。