論文の概要: SqueezeMe: Mobile-Ready Distillation of Gaussian Full-Body Avatars
- arxiv url: http://arxiv.org/abs/2412.15171v3
- Date: Mon, 17 Feb 2025 23:29:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 15:46:50.325461
- Title: SqueezeMe: Mobile-Ready Distillation of Gaussian Full-Body Avatars
- Title（参考訳）: SqueezeMe: ガウスのフルボディアバターをモバイルで蒸留する
- Authors: Forrest Iandola, Stanislav Pidhorskyi, Igor Santesteban, Divam Gupta, Anuj Pahuja, Nemanja Bartolovic, Frank Yu, Emanuel Garbin, Tomas Simon, Shunsuke Saito,
- Abstract要約: 本稿では,高忠実度3Dガウスフルボディアバターを軽量な表現に変換するフレームワークであるSqueezeMeを紹介する。
私たちはMeta Quest 3 VRヘッドセットで3つのガウスアバターをリアルタイムで(72FPS)同時アニメーションとレンダリングを初めて実現しました。
- 参考スコア（独自算出の注目度）: 19.249226899376943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian-based human avatars have achieved an unprecedented level of visual fidelity. However, existing approaches based on high-capacity neural networks typically require a desktop GPU to achieve real-time performance for a single avatar, and it remains non-trivial to animate and render such avatars on mobile devices including a standalone VR headset due to substantially limited memory and computational bandwidth. In this paper, we present SqueezeMe, a simple and highly effective framework to convert high-fidelity 3D Gaussian full-body avatars into a lightweight representation that supports both animation and rendering with mobile-grade compute. Our key observation is that the decoding of pose-dependent Gaussian attributes from a neural network creates non-negligible memory and computational overhead. Inspired by blendshapes and linear pose correctives widely used in Computer Graphics, we address this by distilling the pose correctives learned with neural networks into linear layers. Moreover, we further reduce the parameters by sharing the correctives among nearby Gaussians. Combining them with a custom splatting pipeline based on Vulkan, we achieve, for the first time, simultaneous animation and rendering of 3 Gaussian avatars in real-time (72 FPS) on a Meta Quest 3 VR headset.
- Abstract（参考訳）: ガウスを基盤とした人間のアバターは、前例のないレベルの視覚的忠実さを達成した。
しかし、高容量ニューラルネットワークに基づく既存のアプローチでは、1つのアバターに対してリアルタイムのパフォーマンスを達成するためにデスクトップGPUが必要であるため、メモリと計算帯域が大幅に制限されているため、スタンドアロンのVRヘッドセットを含むモバイルデバイス上でそのようなアバターをアニメーション化し、レンダリングすることは簡単ではない。
本稿では,高忠実度3Dガウスフルボディアバターを,モバイルグレード計算によるアニメーションとレンダリングの両方をサポートする軽量な表現に変換する,シンプルで効率的なフレームワークであるSqueezeMeを提案する。
我々のキーとなる観察は、ニューラルネットワークからポーズ依存のガウス属性の復号化が、無視できないメモリと計算オーバーヘッドを生み出すことである。
ニューラルネットワークで学習したポーズ補正剤を線形層に蒸留することにより、コンピュータグラフィックスで広く使われているブレンドシャッピーと線形ポーズ修正剤にインスパイアされた。
さらに,近隣のガウシアン間で正解を共有することで,パラメータをさらに削減する。
Vulkanをベースとしたカスタムスプレイティングパイプラインと組み合わせることで、Meta Quest 3 VRヘッドセット上で3つのガウスアバターをリアルタイムで(72FPS)同時アニメーションとレンダリングを実現しました。
関連論文リスト
- LAM: Large Avatar Model for One-shot Animatable Gaussian Head [20.503641046404184]
一つの画像からガウスの頭部再構成を行うための革新的な大型アバターモデル LAM を提案する。
LAMはアニマタブルなガウスヘッドを1つのフォワードパスで生成し、追加のネットワークや後処理ステップを使わずに再現とレンダリングを可能にする。
LAMは既存のベンチマークで最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-02-25T02:57:45Z) - GASP: Gaussian Avatars with Synthetic Priors [30.404213841722108]
GASP:Gaussian Avatars with Synthetic Priorsを提案する。
我々は合成データのピクセル完全性を利用してガウスアバターを事前に訓練する。
私たちの事前は、推論ではなく、リアルタイムアプリケーションを可能にするためにのみ必要です。
論文 参考訳（メタデータ） (2024-12-10T18:36:21Z) - MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting [38.16397253003339]
高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。
最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。
そこで我々は,MixedGaussian Avatarという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-12-06T11:17:25Z) - Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。
我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。
提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
論文 参考訳（メタデータ） (2024-05-29T17:58:09Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳（メタデータ） (2023-12-22T20:56:46Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳（メタデータ） (2023-12-18T18:59:12Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - HUGS: Human Gaussian Splats [21.73294518957075]
HUGS(Human Gaussian Splats)を紹介する。
本手法は,少数の(50-100)フレームのモノクロ映像のみを撮影し,30分以内に静止シーンと完全にアニメーション可能な人間のアバターを自動で切り離すことを学習する。
我々は60FPSのレンダリング速度で最先端のレンダリング品質を実現し、従来の作業よりも100倍高速なトレーニングを実現した。
論文 参考訳（メタデータ） (2023-11-29T18:56:32Z) - Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling [47.1427140235414]
強力な2次元CNNと3次元ガウススプラッティングを活用して高忠実度アバターを作成する新しいアバター表現を提案する。
我々の手法は、動的で現実的で、一般化され、楽しく見えるアバターを作ることができる。
論文 参考訳（メタデータ） (2023-11-27T18:59:04Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。