論文の概要: Facial De-occlusion Network for Virtual Telepresence Systems
- arxiv url: http://arxiv.org/abs/2210.12622v1
- Date: Sun, 23 Oct 2022 05:34:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 17:20:37.971360
- Title: Facial De-occlusion Network for Virtual Telepresence Systems
- Title（参考訳）: 仮想テレプレゼンスシステムのための顔除去ネットワーク
- Authors: Surabhi Gupta and Ashwath Shetty and Avinash Sharma
- Abstract要約: 眼領域を非閉塞化するための最先端画像塗布法は有用ではない。
本稿では,VR設定におけるユーザのリアルタイム写真リアリスティック非隠蔽顔の使用を可能にする,この問題に対処するための有用な結果を提供するワーキングソリューションを提案する。
- 参考スコア（独自算出の注目度）: 6.501857679289835
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To see what is not in the image is one of the broader missions of computer
vision. Technology to inpaint images has made significant progress with the
coming of deep learning. This paper proposes a method to tackle occlusion
specific to human faces. Virtual presence is a promising direction in
communication and recreation for the future. However, Virtual Reality (VR)
headsets occlude a significant portion of the face, hindering the
photo-realistic appearance of the face in the virtual world. State-of-the-art
image inpainting methods for de-occluding the eye region does not give usable
results. To this end, we propose a working solution that gives usable results
to tackle this problem enabling the use of the real-time photo-realistic
de-occluded face of the user in VR settings.
- Abstract（参考訳）: 画像に写っていないものを見ることは、コンピュータビジョンの幅広いミッションの一つだ。
イメージを塗りつぶす技術は、ディープラーニングの登場で大きな進歩を遂げている。
本稿では,人間の顔に特有の咬合に取り組む方法を提案する。
仮想存在は未来のコミュニケーションとレクリエーションにおいて有望な方向である。
しかし、バーチャルリアリティ(VR)ヘッドセットは顔の大部分を遮蔽し、仮想世界における顔の写実的な外観を妨げている。
目の領域を遮蔽する最新の画像インペインティング手法は有用ではない。
そこで本研究では,VR設定におけるユーザのリアルタイム写真リアリスティック非隠蔽顔の使用を可能にする,この問題に対処するための有用な結果を提供するワーキングソリューションを提案する。
関連論文リスト
- VIGFace: Virtual Identity Generation Model for Face Image Synthesis [13.81887339529775]
合成顔画像を生成する新しいフレームワークであるVIGFaceを提案する。
肖像画の権利を気にすることなく、仮想顔画像を作成することができる。
既存のイメージを組み込んだ効果的な拡張手法として機能する。
論文 参考訳（メタデータ） (2024-03-13T06:11:41Z) - Towards a Pipeline for Real-Time Visualization of Faces for VR-based
Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。
本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-04T08:49:51Z) - NeuralPassthrough: Learned Real-Time View Synthesis for VR [3.907767419763815]
ステレオ一対のRGBカメラを用いたVRヘッドセットを用いて,最初の学習パススルー手法を提案し,その性能を評価する。
得られたパススルー手法は,最先端の手法に比べて画像品質が優れていることを示す。
論文 参考訳（メタデータ） (2022-07-05T17:39:22Z) - Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual
Reality [68.18446501943585]
ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える
最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。
本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
論文 参考訳（メタデータ） (2021-04-10T15:48:53Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳（メタデータ） (2021-04-09T23:17:36Z) - High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。
既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。
本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
論文 参考訳（メタデータ） (2021-03-29T18:33:49Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳（メタデータ） (2020-11-06T23:17:12Z) - Facial Expression Recognition Under Partial Occlusion from Virtual
Reality Headsets based on Transfer Learning [0.0]
畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。
しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。
既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
論文 参考訳（メタデータ） (2020-08-12T20:25:07Z) - State of the Art on Neural Rendering [141.22760314536438]
我々は,古典的コンピュータグラフィックス技術と深層生成モデルを組み合わせることで,制御可能かつフォトリアリスティックな出力を得るアプローチに焦点をあてる。
本報告は,新しいビュー合成,セマンティック写真操作,顔と身体の再現,リライティング,自由視点ビデオ,バーチャルおよび拡張現実テレプレゼンスのためのフォトリアリスティックアバターの作成など,記述されたアルゴリズムの多くの重要なユースケースに焦点をあてる。
論文 参考訳（メタデータ） (2020-04-08T04:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。