論文の概要: NeuralPassthrough: Learned Real-Time View Synthesis for VR

• arxiv url: http://arxiv.org/abs/2207.02186v1
• Date: Tue, 5 Jul 2022 17:39:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 13:52:03.295551
• Title: NeuralPassthrough: Learned Real-Time View Synthesis for VR
• Title（参考訳）: neuralpassthrough:vrのリアルタイムビュー合成を学習する
• Authors: Lei Xiao, Salah Nouri, Joel Hegland, Alberto Garcia Garcia, Douglas Lanman
• Abstract要約: ステレオ一対のRGBカメラを用いたVRヘッドセットを用いて,最初の学習パススルー手法を提案し,その性能を評価する。 得られたパススルー手法は,最先端の手法に比べて画像品質が優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.907767419763815
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Virtual reality (VR) headsets provide an immersive, stereoscopic visual experience, but at the cost of blocking users from directly observing their physical environment. Passthrough techniques are intended to address this limitation by leveraging outward-facing cameras to reconstruct the images that would otherwise be seen by the user without the headset. This is inherently a real-time view synthesis challenge, since passthrough cameras cannot be physically co-located with the eyes. Existing passthrough techniques suffer from distracting reconstruction artifacts, largely due to the lack of accurate depth information (especially for near-field and disoccluded objects), and also exhibit limited image quality (e.g., being low resolution and monochromatic). In this paper, we propose the first learned passthrough method and assess its performance using a custom VR headset that contains a stereo pair of RGB cameras. Through both simulations and experiments, we demonstrate that our learned passthrough method delivers superior image quality compared to state-of-the-art methods, while meeting strict VR requirements for real-time, perspective-correct stereoscopic view synthesis over a wide field of view for desktop-connected headsets.
• Abstract（参考訳）: 仮想現実(VR)ヘッドセットは没入型で立体視的な体験を提供するが、ユーザーの身体環境を直接観察することを妨げる。 パススルー技術は、ヘッドセットなしでユーザーが見るであろう画像を、外向きのカメラで再構築することで、この制限に対処することを目的としている。 パススルーカメラは目と物理的に共存できないため、これは本質的にリアルタイムのビュー合成チャレンジである。 既存のパススルー技術では、正確な奥行き情報(特に近接フィールドやぼんやりとしたオブジェクト)の欠如や、画質の制限(解像度の低さや単色化など)などによって、復元のアーチファクトの注意をそらすことに苦しめられている。 本稿では,RGBカメラのステレオ対を含むVRヘッドセットを用いて,初めて学習されたパススルー手法を提案し,その性能を評価する。 シミュレーションと実験の両方を通じて,我々は学習したパススルー法が最先端の手法よりも優れた画像品質をもたらすことを実証すると同時に,デスクトップ接続型ヘッドセットの広い視野において,リアルタイム・パースペクティブな立体視合成のための厳密なvr要件を満たしている。

関連論文リスト

• Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
  コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。 本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-07-17T22:08:15Z)
• VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence [14.010324388059866]
  VOODOO XPは、入力ドライバビデオと1枚の2Dポートレートから高表現力の表情を生成することができる、3D対応のワンショットヘッド再現法である。 本稿では,モノクラー映像設定と双方向通信のためのエンドツーエンドVRテレプレゼンスシステムについて述べる。
  論文  参考訳（メタデータ） (2024-05-25T12:33:40Z)
• Real-Time Simulated Avatar from Head-Mounted Sensors [70.41580295721525]
  我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。 カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。 体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
  論文  参考訳（メタデータ） (2024-03-11T16:15:51Z)
• Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended Reality [65.70936336240554]
  リアルタイムステレオマッチング(Real-time Stereo Matching)は、屋内3D理解、ビデオパススルー、混合現実感ゲームなど、多くの拡張現実感(XR)アプリケーションのための基盤となるアルゴリズムである。 最大の課題の1つは、ヘッドマウントのVR/ARメガネによってキャプチャされた高品質な屋内ビデオステレオトレーニングデータセットの欠如である。 室内シーンのレンダリングと6-DoF移動VR/ARヘッドマウントディスプレイ(HMD)によるリアルなカメラモーションを含む,新しいステレオ合成データセットを提案する。 これにより既存のアプローチの評価が促進され、屋内拡張現実シナリオのさらなる研究が促進される。
  論文  参考訳（メタデータ） (2023-09-08T07:53:58Z)
• Towards a Pipeline for Real-Time Visualization of Faces for VR-based Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
  バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。 本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-04T08:49:51Z)
• ChromaCorrect: Prescription Correction in Virtual Reality Headsets through Perceptual Guidance [3.365646526465954]
  メガネは、拡張現実と仮想現実のヘッドセットで使うと、さらに大きめの不快感と不快感を引き起こす。 本稿では,よりシャープで没入的なVR画像を提供するための処方薬を意識したレンダリング手法を提案する。 デスクトップやVRヘッドセットなど,さまざまなディスプレイに対するアプローチを評価し,視覚障害のあるユーザに対して,大幅な品質向上とコントラスト向上を図っている。
  論文  参考訳（メタデータ） (2022-12-08T13:30:17Z)
• Facial De-occlusion Network for Virtual Telepresence Systems [6.501857679289835]
  眼領域を非閉塞化するための最先端画像塗布法は有用ではない。 本稿では,VR設定におけるユーザのリアルタイム写真リアリスティック非隠蔽顔の使用を可能にする,この問題に対処するための有用な結果を提供するワーキングソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-23T05:34:17Z)
• Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
  120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。 データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。 我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
  論文  参考訳（メタデータ） (2021-08-30T17:55:28Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。