論文の概要: Expressive Telepresence via Modular Codec Avatars

• arxiv url: http://arxiv.org/abs/2008.11789v1
• Date: Wed, 26 Aug 2020 20:16:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 21:55:45.220991
• Title: Expressive Telepresence via Modular Codec Avatars
• Title（参考訳）: モジュラーコーデックアバターによる表現的テレプレゼンス
• Authors: Hang Chu, Shugao Ma, Fernando De la Torre, Sanja Fidler, Yaser Sheikh
• Abstract要約: VRテレプレゼンス(VR Telepresence)とは、アバターで表される仮想空間において、他の人間と対話することである。 本稿では,VRヘッドセットのカメラによって駆動される超現実的な顔を生成する手法である,Modular Codec Avatars (MCA)を提案する。 MCAは、全体的なモデルを学習されたモジュラー表現に置き換えることで、伝統的なコーデックアバター(CA)を拡張している。
• 参考スコア（独自算出の注目度）: 148.212743312768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: VR telepresence consists of interacting with another human in a virtual space represented by an avatar. Today most avatars are cartoon-like, but soon the technology will allow video-realistic ones. This paper aims in this direction and presents Modular Codec Avatars (MCA), a method to generate hyper-realistic faces driven by the cameras in the VR headset. MCA extends traditional Codec Avatars (CA) by replacing the holistic models with a learned modular representation. It is important to note that traditional person-specific CAs are learned from few training samples, and typically lack robustness as well as limited expressiveness when transferring facial expressions. MCAs solve these issues by learning a modulated adaptive blending of different facial components as well as an exemplar-based latent alignment. We demonstrate that MCA achieves improved expressiveness and robustness w.r.t to CA in a variety of real-world datasets and practical scenarios. Finally, we showcase new applications in VR telepresence enabled by the proposed model.
• Abstract（参考訳）: vr telepresenceは、アバターで表される仮想空間内の他の人間と対話する。 現在、ほとんどのアバターは漫画的だが、近くこの技術はビデオリアリスティックなものを可能にする。 本稿では,VRヘッドセットのカメラによって駆動される超現実的な顔を生成する手法である,Modular Codec Avatars (MCA)を提案する。 mcaは伝統的なコーデックアバター(ca)を拡張し、全体モデルから学習されたモジュラ表現に置き換える。 従来の個人固有のCAは、少数のトレーニングサンプルから学習され、通常、表情の転送時の表現力の制限だけでなく、堅牢性も欠如していることに注意する必要がある。 MCAは、様々な顔成分の適応的なブレンディングと、模範に基づく潜在アライメントを学習することで、これらの問題を解決する。 我々は,MCAが様々な実世界のデータセットや実践シナリオにおいて,CAからCAへの表現性や堅牢性を向上できることを実証した。 最後に,提案モデルによって実現されるvrテレプレゼンスにおける新しいアプリケーションを紹介する。

関連論文リスト

• EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
  本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。 提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
  論文  参考訳（メタデータ） (2024-09-22T22:50:27Z)
• GenCA: A Text-conditioned Generative Model for Realistic and Drivable Codec Avatars [44.8290935585746]
  フォトリアリスティックでコントロール可能な3Dアバターは、バーチャルリアリティー(VR/MR)、テレプレゼンス、ゲーム、映画制作など、様々な用途に欠かせない。 アバター作成の伝統的な方法は、しばしば各アバターのスキャンと再構築に時間を要する。 本稿では,多彩なアイデンティティを持つ写真リアルな顔アバターを生成可能なテキスト条件生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-24T21:25:22Z)
• Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
  コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。 本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-07-17T22:08:15Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)
• High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
  3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。 既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。 本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。