論文の概要: Eye-See-You: Reverse Pass-Through VR and Head Avatars

• arxiv url: http://arxiv.org/abs/2505.18869v1
• Date: Sat, 24 May 2025 21:08:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.70993
• Title: Eye-See-You: Reverse Pass-Through VR and Head Avatars
• Title（参考訳）: VRとヘッドアバターを逆転させる「Eye-See-You」
• Authors: Ankan Dash, Jingyi Gu, Guiling Wang, Chen Chen,
• Abstract要約: RevAvatarは、リバースパススルー技術を可能にするためにAI方法論を活用する革新的なフレームワークである。 RevAvatarは最先端の生成モデルとマルチモーダルAI技術を統合して、高忠実度2D顔画像の再構成を行う。 多様なVR特有の条件をエミュレートするために設計された20万のサンプルからなる新しいデータセットであるVR-Faceを提示する。
• 参考スコア（独自算出の注目度）: 6.514203459446675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Virtual Reality (VR) headsets, while integral to the evolving digital ecosystem, present a critical challenge: the occlusion of users' eyes and portions of their faces, which hinders visual communication and may contribute to social isolation. To address this, we introduce RevAvatar, an innovative framework that leverages AI methodologies to enable reverse pass-through technology, fundamentally transforming VR headset design and interaction paradigms. RevAvatar integrates state-of-the-art generative models and multimodal AI techniques to reconstruct high-fidelity 2D facial images and generate accurate 3D head avatars from partially observed eye and lower-face regions. This framework represents a significant advancement in AI4Tech by enabling seamless interaction between virtual and physical environments, fostering immersive experiences such as VR meetings and social engagements. Additionally, we present VR-Face, a novel dataset comprising 200,000 samples designed to emulate diverse VR-specific conditions, including occlusions, lighting variations, and distortions. By addressing fundamental limitations in current VR systems, RevAvatar exemplifies the transformative synergy between AI and next-generation technologies, offering a robust platform for enhancing human connection and interaction in virtual environments.
• Abstract（参考訳）: 仮想現実(VR)ヘッドセットは、進化するデジタルエコシステムに不可欠なものだが、ユーザの目と顔の一部が排除され、視覚的コミュニケーションを妨げ、社会的孤立に寄与する、という重要な課題を提示する。 この問題を解決するために、私たちはRevAvatarという、AI方法論を活用して逆パススルー技術を可能にし、VRヘッドセットの設計とインタラクションパラダイムを根本的に変える革新的なフレームワークを紹介します。 RevAvatarは最先端の生成モデルとマルチモーダルAI技術を統合して、高忠実度2D顔画像を再構成し、部分的に観察された目と下面の領域から正確な3Dヘッドアバターを生成する。 このフレームワークは、仮想環境と物理環境のシームレスな相互作用を可能にし、VRミーティングやソーシャルエンゲージメントのような没入的な体験を育むことで、AI4Techの大幅な進歩を示している。 さらに,オクルージョンや照明のバリエーション,歪みなど,VR特有のさまざまな条件をエミュレートするための,20万のサンプルからなる新しいデータセットであるVR-Faceを提案する。 RevAvatarは、現在のVRシステムの基本的制限に対処することによって、AIと次世代技術の変革的な相乗効果を実証し、仮想環境における人間の接続と相互作用を強化する堅牢なプラットフォームを提供する。

関連論文リスト

• EVA: Expressive Virtual Avatars from Multi-view Videos [51.33851869426057]
  本稿では,アクター固有の,完全に制御可能な,表現力のある人間のアバターフレームワークであるExpressive Virtual Avatars (EVA)を紹介する。 EVAは、表情、身体の動き、手の動きの独立的な制御を可能にしながら、高忠実でライフライクなレンダリングをリアルタイムで実現している。 この研究は、完全に乾燥可能なデジタル人間モデルに向けた大きな進歩を示している。
  論文  参考訳（メタデータ） (2025-05-21T11:22:52Z)
• Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
  コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。 本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-07-17T22:08:15Z)
• VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality [39.53150683721031]
  提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。 私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
  論文  参考訳（メタデータ） (2024-01-30T01:28:36Z)
• Facial De-occlusion Network for Virtual Telepresence Systems [6.501857679289835]
  眼領域を非閉塞化するための最先端画像塗布法は有用ではない。 本稿では,VR設定におけるユーザのリアルタイム写真リアリスティック非隠蔽顔の使用を可能にする,この問題に対処するための有用な結果を提供するワーキングソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-23T05:34:17Z)
• Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
  我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。 我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。 今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
  論文  参考訳（メタデータ） (2022-10-03T20:51:25Z)
• Wireless Edge-Empowered Metaverse: A Learning-Based Incentive Mechanism for Virtual Reality [102.4151387131726]
  メタバースにおけるVRサービスのための学習型インセンティブメカニズムフレームワークを提案する。 まず,仮想世界におけるVRユーザのための指標として,知覚の質を提案する。 第二に、VRユーザー(買い手)とVR SP(売り手)間のVRサービスの迅速な取引のために、オランダの二重オークション機構を設計する。 第3に,この競売プロセスの高速化を目的とした深層強化学習型競売機を設計する。
  論文  参考訳（メタデータ） (2021-11-07T13:02:52Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。