論文の概要: Towards a Pipeline for Real-Time Visualization of Faces for VR-based Telepresence and Live Broadcasting Utilizing Neural Rendering

• arxiv url: http://arxiv.org/abs/2301.01490v1
• Date: Wed, 4 Jan 2023 08:49:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 15:40:43.397234
• Title: Towards a Pipeline for Real-Time Visualization of Faces for VR-based Telepresence and Live Broadcasting Utilizing Neural Rendering
• Title（参考訳）: ニューラルレンダリングを利用したVRテレプレゼンスとライブ放送のためのリアルタイム顔可視化パイプライン
• Authors: Philipp Ladwig, Rene Ebertowski, Alexander Pech, Ralf D\"orner, Christian Geiger
• Abstract要約: バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。 本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
• 参考スコア（独自算出の注目度）: 58.720142291102135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While head-mounted displays (HMDs) for Virtual Reality (VR) have become widely available in the consumer market, they pose a considerable obstacle for a realistic face-to-face conversation in VR since HMDs hide a significant portion of the participants faces. Even with image streams from cameras directly attached to an HMD, stitching together a convincing image of an entire face remains a challenging task because of extreme capture angles and strong lens distortions due to a wide field of view. Compared to the long line of research in VR, reconstruction of faces hidden beneath an HMD is a very recent topic of research. While the current state-of-the-art solutions demonstrate photo-realistic 3D reconstruction results, they require high-cost laboratory equipment and large computational costs. We present an approach that focuses on low-cost hardware and can be used on a commodity gaming computer with a single GPU. We leverage the benefits of an end-to-end pipeline by means of Generative Adversarial Networks (GAN). Our GAN produces a frontal-facing 2.5D point cloud based on a training dataset captured with an RGBD camera. In our approach, the training process is offline, while the reconstruction runs in real-time. Our results show adequate reconstruction quality within the 'learned' expressions. Expressions not learned by the network produce artifacts and can trigger the Uncanny Valley effect.
• Abstract（参考訳）: 仮想現実(VR)用のヘッドマウントディスプレイ(HMD)は消費者市場に広く普及しているが、HMDが参加者の顔の大部分を隠しているため、現実的な対面会話にはかなりの障害が生じる。 hmdに直接取り付けられたカメラからの映像ストリームであっても、視野が広いため、極端なキャプチャアングルと強いレンズ歪みのため、顔全体の説得力のある画像を縫い合わせることは難しい課題である。 VRの長い研究ラインと比較して、HMDの下に隠された顔の再構築は、非常に最近の研究のトピックである。 現在の最先端のソリューションは、フォトリアリスティックな3D再構成結果を示しているが、高価な実験装置と計算コストを必要とする。 本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。 我々は,GAN(Generative Adversarial Networks)によるエンドツーエンドパイプラインのメリットを活用している。 私たちのganは、rgbdカメラでキャプチャされたトレーニングデータセットに基づいて、前面2.5dポイントクラウドを生成します。 このアプローチでは、トレーニングプロセスはオフラインで、再構築はリアルタイムで実行される。 以上の結果から,'学習'表現における適切な再構成品質を示す。 ネットワークで学ばない表現はアーティファクトを生成し、アンキャニー・バレー効果を引き起こす可能性がある。

関連論文リスト

• VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence [14.010324388059866]
  VOODOO XPは、入力ドライバビデオと1枚の2Dポートレートから高表現力の表情を生成することができる、3D対応のワンショットヘッド再現法である。 本稿では,モノクラー映像設定と双方向通信のためのエンドツーエンドVRテレプレゼンスシステムについて述べる。
  論文  参考訳（メタデータ） (2024-05-25T12:33:40Z)
• FNeVR: Neural Volume Rendering for Face Animation [53.92664037596834]
  本研究では,2次元モーションワープと3次元ボリュームレンダリングの可能性を探るため,FNeVRネットワークを提案する。 FNeVRでは、画像レンダリングのための顔の詳細を強化するために、FVRモジュールを設計する。 また、軽量なポーズエディタを設計し、FNeVRが簡単にかつ効果的に顔のポーズを編集できるようにする。
  論文  参考訳（メタデータ） (2022-09-21T13:18:59Z)
• NeuralPassthrough: Learned Real-Time View Synthesis for VR [3.907767419763815]
  ステレオ一対のRGBカメラを用いたVRヘッドセットを用いて,最初の学習パススルー手法を提案し,その性能を評価する。 得られたパススルー手法は,最先端の手法に比べて画像品質が優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-05T17:39:22Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)
• High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
  3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。 既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。 本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:33:49Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• Facial Expression Recognition Under Partial Occlusion from Virtual Reality Headsets based on Transfer Learning [0.0]
  畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。 しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。 既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-12T20:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。