論文の概要: Pixel Codec Avatars

• arxiv url: http://arxiv.org/abs/2104.04638v1
• Date: Fri, 9 Apr 2021 23:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:17:15.837114
• Title: Pixel Codec Avatars
• Title（参考訳）: Pixel Codec アバター
• Authors: Shugao Ma, Tomas Simon, Jason Saragih, Dawei Wang, Yuecheng Li, Fernando De La Torre, Yaser Sheikh
• Abstract要約: Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
• 参考スコア（独自算出の注目度）: 99.36561532588831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Telecommunication with photorealistic avatars in virtual or augmented reality is a promising path for achieving authentic face-to-face communication in 3D over remote physical distances. In this work, we present the Pixel Codec Avatars (PiCA): a deep generative model of 3D human faces that achieves state of the art reconstruction performance while being computationally efficient and adaptive to the rendering conditions during execution. Our model combines two core ideas: (1) a fully convolutional architecture for decoding spatially varying features, and (2) a rendering-adaptive per-pixel decoder. Both techniques are integrated via a dense surface representation that is learned in a weakly-supervised manner from low-topology mesh tracking over training images. We demonstrate that PiCA improves reconstruction over existing techniques across testing expressions and views on persons of different gender and skin tone. Importantly, we show that the PiCA model is much smaller than the state-of-art baseline model, and makes multi-person telecommunicaiton possible: on a single Oculus Quest 2 mobile VR headset, 5 avatars are rendered in realtime in the same scene.
• Abstract（参考訳）: 仮想または拡張現実におけるフォトリアリスティックアバターとの通信は、リモートの物理的距離を3dで真の対面通信を実現するための有望な経路である。 本稿では,Pixel Codec Avatars (PiCA) について述べる。これは3次元人間の顔の深部生成モデルであり,計算効率が高く,実行中のレンダリング条件に適応している。 本モデルでは,(1)空間的に異なる特徴をデコードするための完全な畳み込みアーキテクチャ,(2)レンダリング適応型ピクセル単位のデコーダの2つの基本概念を組み合わせる。 どちらのテクニックも、トレーニング画像上での低トポロジーメッシュトラッキングから弱い教師付き方法で学習される、密度の高い表面表現を介して統合される。 我々は、picaが、性別や肌のトーンが異なる人の表情や視点をテストすることで、既存の技術の再構築を改善できることを実証する。 重要なのは、picaモデルが最先端のベースラインモデルよりもずっと小さく、マルチパーソン・テレコムキャイトンを可能にすることだ。oculus quest 2モバイルvrヘッドセット1台で、同じシーンで5つのアバターがリアルタイムでレンダリングされる。

関連論文リスト

• R2Human: Real-Time 3D Human Appearance Rendering from a Single Image [42.74145788079571]
  R2Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。 本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-10T08:59:43Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• LiP-Flow: Learning Inference-time Priors for Codec Avatars via Normalizing Flows in Latent Space [90.74976459491303]
  実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。 正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。 提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:22:57Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。