論文の概要: PrismAvatar: Real-time animated 3D neural head avatars on edge devices

• arxiv url: http://arxiv.org/abs/2502.07030v1
• Date: Mon, 10 Feb 2025 20:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:08:31.380147
• Title: PrismAvatar: Real-time animated 3D neural head avatars on edge devices
• Title（参考訳）: PrismAvatar:エッジデバイス上のリアルタイムアニメーション3Dニューラルヘッドアバター
• Authors: Prashant Raina, Felix Taubner, Mathieu Tuli, Eu Wern Teh, Kevin Ferreira,
• Abstract要約: 資源制約のあるエッジデバイス上でリアルタイムのアニメーションとレンダリングを可能にするように設計された3DヘッドアバターモデルであるPrismAvatarを提案する。 モバイルデバイスでのメモリ使用率の低い60fpsで動作することに加えて、トレーニングされたモデルでは、デスクトップデバイス上での最先端の3Dアバターモデルに匹敵する品質が得られます。
• 参考スコア（独自算出の注目度）: 2.446672595462589
• License:
• Abstract: We present PrismAvatar: a 3D head avatar model which is designed specifically to enable real-time animation and rendering on resource-constrained edge devices, while still enjoying the benefits of neural volumetric rendering at training time. By integrating a rigged prism lattice with a 3D morphable head model, we use a hybrid rendering model to simultaneously reconstruct a mesh-based head and a deformable NeRF model for regions not represented by the 3DMM. We then distill the deformable NeRF into a rigged mesh and neural textures, which can be animated and rendered efficiently within the constraints of the traditional triangle rendering pipeline. In addition to running at 60 fps with low memory usage on mobile devices, we find that our trained models have comparable quality to state-of-the-art 3D avatar models on desktop devices.
• Abstract（参考訳）: 資源制約のあるエッジデバイス上でリアルタイムのアニメーションとレンダリングを可能にするために特別に設計された3DヘッドアバターモデルであるPrismAvatarを、トレーニング時にニューラルボリュームレンダリングの利点を享受しながら提示する。 3DMMで表現されない領域に対するメッシュベースヘッドと変形可能なNeRFモデルを同時に再構築するためにハイブリッドレンダリングモデルを用いた。 次に、変形可能なNeRFをトリグメッシュとニューラルテクスチャに蒸留し、従来の三角形レンダリングパイプラインの制約内でアニメーションおよび効率よくレンダリングすることができる。 モバイルデバイスでのメモリ使用率の低い60fpsで動作することに加えて、トレーニングされたモデルでは、デスクトップデバイス上での最先端の3Dアバターモデルに匹敵する品質が得られます。

関連論文リスト

• Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
  従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。 本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。 提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
  論文  参考訳（メタデータ） (2024-12-26T10:10:03Z)
• SqueezeMe: Mobile-Ready Distillation of Gaussian Full-Body Avatars [19.249226899376943]
  本稿では,高忠実度3Dガウスフルボディアバターを軽量な表現に変換するフレームワークであるSqueezeMeを紹介する。 私たちはMeta Quest 3 VRヘッドセットで3つのガウスアバターをリアルタイムで(72FPS)同時アニメーションとレンダリングを初めて実現しました。
  論文  参考訳（メタデータ） (2024-12-19T18:46:55Z)
• NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [57.617972778377215]
  提案手法は,RGB画像から有効な3D表現を生成する方法を示す。 我々は、この表現を、提案した擬似RGBデータに基づいて、180万枚以上の画像で事前訓練する。 我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
  論文  参考訳（メタデータ） (2024-04-01T17:59:55Z)
• PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting [17.78639236586134]
  PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。 詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。 PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
  論文  参考訳（メタデータ） (2024-01-23T16:40:47Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural Voxels [33.085274792188756]
  動作認識型ニューラルボクセルを用いた高速な3次元頭部アバター再構成法であるAvatarMAVを提案する。 アバターMAVは、頭アバターの神経ボクセルによる標準的外観と解離した表情運動の両方をモデル化した最初のものである。 提案したAvatarMAVは、最先端の顔再現法よりもはるかに高速な5分で、フォトリアリスティックな頭部アバターを回収することができる。
  論文  参考訳（メタデータ） (2022-11-23T18:49:31Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)
• HeadNeRF: A Real-time NeRF-based Parametric Head Model [39.240265611700735]
  HeadNeRFは、神経放射場と人間の頭部のパラメトリック表現を統合する、新しいNeRFベースのパラメトリックヘッドモデルである。 高忠実度ヘッドイメージをリアルタイムでレンダリングでき、生成した画像のレンダリングポーズとさまざまなセマンティック属性を直接制御できる。
  論文  参考訳（メタデータ） (2021-12-10T16:10:13Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。