論文の概要: SqueezeMe: Efficient Gaussian Avatars for VR
- arxiv url: http://arxiv.org/abs/2412.15171v1
- Date: Thu, 19 Dec 2024 18:46:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 18:44:16.256895
- Title: SqueezeMe: Efficient Gaussian Avatars for VR
- Title（参考訳）: SqueezeMe:VRのための効率的なガウスアバター
- Authors: Shunsuke Saito, Stanislav Pidhorskyi, Igor Santesteban, Forrest Iandola, Divam Gupta, Anuj Pahuja, Nemanja Bartolovic, Frank Yu, Emanuel Garbin, Tomas Simon,
- Abstract要約: ガウシアン・スプレイティングは、前例のないレベルの視覚的品質を持つリアルタイムの3Dアバターを可能にした。
我々は、複数のガウスアバターをリアルタイムにドライビング可能なバーチャルリアリティーヘッドセットに詰め込むことを目標としている。
- 参考スコア（独自算出の注目度）: 19.249226899376943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian Splatting has enabled real-time 3D human avatars with unprecedented levels of visual quality. While previous methods require a desktop GPU for real-time inference of a single avatar, we aim to squeeze multiple Gaussian avatars onto a portable virtual reality headset with real-time drivable inference. We begin by training a previous work, Animatable Gaussians, on a high quality dataset captured with 512 cameras. The Gaussians are animated by controlling base set of Gaussians with linear blend skinning (LBS) motion and then further adjusting the Gaussians with a neural network decoder to correct their appearance. When deploying the model on a Meta Quest 3 VR headset, we find two major computational bottlenecks: the decoder and the rendering. To accelerate the decoder, we train the Gaussians in UV-space instead of pixel-space, and we distill the decoder to a single neural network layer. Further, we discover that neighborhoods of Gaussians can share a single corrective from the decoder, which provides an additional speedup. To accelerate the rendering, we develop a custom pipeline in Vulkan that runs on the mobile GPU. Putting it all together, we run 3 Gaussian avatars concurrently at 72 FPS on a VR headset. Demo videos are at https://forresti.github.io/squeezeme.
- Abstract（参考訳）: ガウシアン・スプレイティングは、前例のないレベルの視覚的品質を持つリアルタイムの3Dアバターを可能にした。
従来の手法では、1つのアバターのリアルタイム推論にデスクトップGPUが必要であるが、我々は複数のガウスアバターをリアルタイムにドライビング可能なバーチャルリアリティーヘッドセットに詰め込むことを目標としている。
512台のカメラで捉えた高品質なデータセットで、以前の研究であるAnimatable Gaussiansをトレーニングすることから始めます。
ガウスはリニアブレンドスキン(LBS)運動でガウスの基底セットを制御し、さらにニューラルネットワークデコーダでガウスを調整してその外観を補正する。
Meta Quest 3 VRヘッドセットにモデルをデプロイすると、デコーダとレンダリングという2つの大きな計算ボトルネックが見つかる。
デコーダを高速化するために、画素空間の代わりにUV空間でガウスアンを訓練し、デコーダを1つのニューラルネットワーク層に蒸留する。
さらに、ガウス地区がデコーダから1つの補正を共有できることがわかり、さらなる高速化が期待できる。
レンダリングを高速化するため、モバイルGPU上で動作するVulkanのカスタムパイプラインを開発しました。
まとめると、3台のガウスアバターを同時に72FPSでVRヘッドセットで走らせます。
デモビデオはhttps://forresti.github.io/squeezeme.comにある。
関連論文リスト
- LAM: Large Avatar Model for One-shot Animatable Gaussian Head [20.503641046404184]
一つの画像からガウスの頭部再構成を行うための革新的な大型アバターモデル LAM を提案する。
LAMはアニマタブルなガウスヘッドを1つのフォワードパスで生成し、追加のネットワークや後処理ステップを使わずに再現とレンダリングを可能にする。
LAMは既存のベンチマークで最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-02-25T02:57:45Z) - GASP: Gaussian Avatars with Synthetic Priors [30.404213841722108]
GASP:Gaussian Avatars with Synthetic Priorsを提案する。
我々は合成データのピクセル完全性を利用してガウスアバターを事前に訓練する。
私たちの事前は、推論ではなく、リアルタイムアプリケーションを可能にするためにのみ必要です。
論文 参考訳（メタデータ） (2024-12-10T18:36:21Z) - MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting [38.16397253003339]
高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。
最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。
そこで我々は,MixedGaussian Avatarという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-12-06T11:17:25Z) - Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。
我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。
提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
論文 参考訳（メタデータ） (2024-05-29T17:58:09Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳（メタデータ） (2023-12-22T20:56:46Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳（メタデータ） (2023-12-18T18:59:12Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - HUGS: Human Gaussian Splats [21.73294518957075]
HUGS(Human Gaussian Splats)を紹介する。
本手法は,少数の(50-100)フレームのモノクロ映像のみを撮影し,30分以内に静止シーンと完全にアニメーション可能な人間のアバターを自動で切り離すことを学習する。
我々は60FPSのレンダリング速度で最先端のレンダリング品質を実現し、従来の作業よりも100倍高速なトレーニングを実現した。
論文 参考訳（メタデータ） (2023-11-29T18:56:32Z) - Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling [47.1427140235414]
強力な2次元CNNと3次元ガウススプラッティングを活用して高忠実度アバターを作成する新しいアバター表現を提案する。
我々の手法は、動的で現実的で、一般化され、楽しく見えるアバターを作ることができる。
論文 参考訳（メタデータ） (2023-11-27T18:59:04Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。