論文の概要: Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence

• arxiv url: http://arxiv.org/abs/2011.03630v1
• Date: Fri, 6 Nov 2020 23:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 05:26:09.728058
• Title: Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence
• Title（参考訳）: Unmasking Communication Partners:VRベースのテレプレゼンスでヘッドマウントディスプレイをデジタル除去する低コストAIソリューション
• Authors: Philipp Ladwig, Alexander Pech, Ralf D\"orner and Christian Geiger
• Abstract要約: バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face-to-face conversation in Virtual Reality (VR) is a challenge when participants wear head-mounted displays (HMD). A significant portion of a participant's face is hidden and facial expressions are difficult to perceive. Past research has shown that high-fidelity face reconstruction with personal avatars in VR is possible under laboratory conditions with high-cost hardware. In this paper, we propose one of the first low-cost systems for this task which uses only open source, free software and affordable hardware. Our approach is to track the user's face underneath the HMD utilizing a Convolutional Neural Network (CNN) and generate corresponding expressions with Generative Adversarial Networks (GAN) for producing RGBD images of the person's face. We use commodity hardware with low-cost extensions such as 3D-printed mounts and miniature cameras. Our approach learns end-to-end without manual intervention, runs in real time, and can be trained and executed on an ordinary gaming computer. We report evaluation results showing that our low-cost system does not achieve the same fidelity of research prototypes using high-end hardware and closed source software, but it is capable of creating individual facial avatars with person-specific characteristics in movements and expressions.
• Abstract（参考訳）: バーチャルリアリティ(VR)における対面会話は、参加者がヘッドマウントディスプレイ(HMD)を装着する際の課題である。 参加者の顔のかなりの部分が隠れており、表情を知覚することが困難である。 過去の研究では、高コストハードウェアを用いた実験条件下では、VRのパーソナルアバターによる高忠実な顔再構成が可能であることが示されている。 本稿では,オープンソースのフリーソフトウェアと安価なハードウェアのみを用いた,このタスクのための最初の低コストシステムを提案する。 提案手法は,HMDの下のユーザの顔をCNN(Convolutional Neural Network)を用いて追跡し,GAN(Generative Adversarial Networks)と対応する表現を生成し,人の顔のRGBD画像を生成する。 3dプリントのマウントやミニチュアカメラなど、安価な拡張機能を備えたコモディティハードウェアを使用する。 本手法は,手作業による介入なしにエンドツーエンドで学習し,リアルタイムに実行し,通常のゲームコンピュータ上でトレーニングおよび実行することができる。 本研究の低コストシステムは,ハイエンドハードウェアとクローズドソースソフトウェアを用いた研究プロトタイプと同様の忠実さを達成できないが,動作や表情に特有の特徴を持つ個別の顔アバターを作成できることを示す評価結果が報告された。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence [14.010324388059866]
  VOODOO XPは、入力ドライバビデオと1枚の2Dポートレートから高表現力の表情を生成することができる、3D対応のワンショットヘッド再現法である。 本稿では,モノクラー映像設定と双方向通信のためのエンドツーエンドVRテレプレゼンスシステムについて述べる。
  論文  参考訳（メタデータ） (2024-05-25T12:33:40Z)
• Towards a Pipeline for Real-Time Visualization of Faces for VR-based Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
  バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。 本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-04T08:49:51Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• Attention based Occlusion Removal for Hybrid Telepresence Systems [5.006086647446482]
  本稿では,HMDデクルージョンのための新しいアテンション対応エンコーダデコーダアーキテクチャを提案する。 我々は,最先端手法よりも質的,定量的な結果が優れていることを報告した。 また,既存のアニメーションと3次元顔再構成パイプラインを用いたハイブリッドビデオ会議への本手法の適用について述べる。
  論文  参考訳（メタデータ） (2021-12-02T10:18:22Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Facial Expression Recognition Under Partial Occlusion from Virtual Reality Headsets based on Transfer Learning [0.0]
  畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。 しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。 既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-12T20:25:07Z)
• Augment Yourself: Mixed Reality Self-Augmentation Using Optical See-through Head-mounted Displays and Physical Mirrors [49.49841698372575]
  光シークレットヘッドマウントディスプレイ(OST HMD)は、仮想オブジェクトと物理シーンを融合して、没入型複合現実(MR)環境をユーザに提供するための重要な技術のひとつです。 我々は,OST HMDと物理ミラーを組み合わせて自己拡張を実現し,ユーザを中心とした没入型MR環境を提供する,新しいコンセプトとプロトタイプシステムを提案する。 我々のシステムでは、まず第一に、HMDに取り付けられたRGBDカメラを用いて鏡によって生成された仮想画像中のユーザのポーズを推定し、仮想オブジェクトを反射に固定する。
  論文  参考訳（メタデータ） (2020-07-06T16:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。