論文の概要: Attention based Occlusion Removal for Hybrid Telepresence Systems
- arxiv url: http://arxiv.org/abs/2112.01098v1
- Date: Thu, 2 Dec 2021 10:18:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 15:30:26.429854
- Title: Attention based Occlusion Removal for Hybrid Telepresence Systems
- Title（参考訳）: ハイブリッドテレプレゼンスシステムにおける注意に基づく咬合除去
- Authors: Surabhi Gupta, Ashwath Shetty, Avinash Sharma
- Abstract要約: 本稿では,HMDデクルージョンのための新しいアテンション対応エンコーダデコーダアーキテクチャを提案する。
我々は,最先端手法よりも質的,定量的な結果が優れていることを報告した。
また,既存のアニメーションと3次元顔再構成パイプラインを用いたハイブリッドビデオ会議への本手法の適用について述べる。
- 参考スコア（独自算出の注目度）: 5.006086647446482
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Traditionally, video conferencing is a widely adopted solution for
telecommunication, but a lack of immersiveness comes inherently due to the 2D
nature of facial representation. The integration of Virtual Reality (VR) in a
communication/telepresence system through Head Mounted Displays (HMDs) promises
to provide users a much better immersive experience. However, HMDs cause
hindrance by blocking the facial appearance and expressions of the user. To
overcome these issues, we propose a novel attention-enabled encoder-decoder
architecture for HMD de-occlusion. We also propose to train our person-specific
model using short videos (1-2 minutes) of the user, captured in varying
appearances, and demonstrated generalization to unseen poses and appearances of
the user. We report superior qualitative and quantitative results over
state-of-the-art methods. We also present applications of this approach to
hybrid video teleconferencing using existing animation and 3D face
reconstruction pipelines.
- Abstract（参考訳）: 伝統的に、ビデオ会議は広く採用されているテレコミュニケーションのソリューションであるが、没入性の欠如は本質的に顔の表現の2次元性に起因する。
ヘッドマウントディスプレイ(hmds)によるコミュニケーション/テレプレゼンスシステムへの仮想現実(vr)の統合は、より没入的な体験を提供する。
しかし、HMDは、ユーザの顔の外観や表情をブロックすることで障害を引き起こす。
これらの問題を解決するために,HMDデクルージョンのための新しいアテンション対応エンコーダデコーダアーキテクチャを提案する。
また,ユーザの短いビデオ(1～2分)を使って,さまざまな外観で捉えた個人別モデルを訓練し,ユーザの見当たらないポーズや外観への一般化を実演する。
我々は,最先端手法よりも質的,定量的な結果が優れていることを報告した。
また,既存のアニメーションと3次元顔再構成パイプラインを用いたハイブリッドビデオ会議への応用を提案する。
関連論文リスト
- DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。
ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。
標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-06-26T00:08:29Z) - VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence [14.010324388059866]
VOODOO XPは、入力ドライバビデオと1枚の2Dポートレートから高表現力の表情を生成することができる、3D対応のワンショットヘッド再現法である。
本稿では,モノクラー映像設定と双方向通信のためのエンドツーエンドVRテレプレゼンスシステムについて述べる。
論文 参考訳（メタデータ） (2024-05-25T12:33:40Z) - Expression-aware video inpainting for HMD removal in XR applications [0.27624021966289597]
ヘッドマウントディスプレイ(HMD)は、拡張現実(XR)環境と仮想コンテンツを観察するために必要なデバイスとして機能する。
HMDは、ユーザの上面をブロックする外部記録技術に障害を与える。
GAN(Generative Adversarial Network)に基づくHMD除去のための表現認識型ビデオインペインティングのための新しいネットワークを提案する。
論文 参考訳（メタデータ） (2024-01-25T12:32:21Z) - 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳（メタデータ） (2023-12-30T21:21:54Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-12-27T22:35:33Z) - Towards a Pipeline for Real-Time Visualization of Faces for VR-based
Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。
本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-04T08:49:51Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳（メタデータ） (2021-04-09T23:17:36Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳（メタデータ） (2020-11-06T23:17:12Z) - Facial Expression Recognition Under Partial Occlusion from Virtual
Reality Headsets based on Transfer Learning [0.0]
畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。
しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。
既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
論文 参考訳（メタデータ） (2020-08-12T20:25:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。