論文の概要: SqueezeMe: Efficient Gaussian Avatars for VR

• arxiv url: http://arxiv.org/abs/2412.15171v2
• Date: Sat, 21 Dec 2024 00:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 12:13:17.520247
• Title: SqueezeMe: Efficient Gaussian Avatars for VR
• Title（参考訳）: SqueezeMe:VRのための効率的なガウスアバター
• Authors: Shunsuke Saito, Stanislav Pidhorskyi, Igor Santesteban, Forrest Iandola, Divam Gupta, Anuj Pahuja, Nemanja Bartolovic, Frank Yu, Emanuel Garbin, Tomas Simon,
• Abstract要約: ガウシアン・スプレイティングは、前例のないレベルの視覚的品質を持つリアルタイムの3Dアバターを可能にした。 我々は、複数のガウスアバターをリアルタイムにドライビング可能なバーチャルリアリティーヘッドセットに詰め込むことを目標としている。
• 参考スコア（独自算出の注目度）: 19.249226899376943
• License:
• Abstract: Gaussian Splatting has enabled real-time 3D human avatars with unprecedented levels of visual quality. While previous methods require a desktop GPU for real-time inference of a single avatar, we aim to squeeze multiple Gaussian avatars onto a portable virtual reality headset with real-time drivable inference. We begin by training a previous work, Animatable Gaussians, on a high quality dataset captured with 512 cameras. The Gaussians are animated by controlling base set of Gaussians with linear blend skinning (LBS) motion and then further adjusting the Gaussians with a neural network decoder to correct their appearance. When deploying the model on a Meta Quest 3 VR headset, we find two major computational bottlenecks: the decoder and the rendering. To accelerate the decoder, we train the Gaussians in UV-space instead of pixel-space, and we distill the decoder to a single neural network layer. Further, we discover that neighborhoods of Gaussians can share a single corrective from the decoder, which provides an additional speedup. To accelerate the rendering, we develop a custom pipeline in Vulkan that runs on the mobile GPU. Putting it all together, we run 3 Gaussian avatars concurrently at 72 FPS on a VR headset. Demo videos are at https://forresti.github.io/squeezeme.
• Abstract（参考訳）: ガウシアン・スプレイティングは、前例のないレベルの視覚的品質を持つリアルタイムの3Dアバターを可能にした。 従来の手法では、1つのアバターのリアルタイム推論にデスクトップGPUが必要であるが、我々は複数のガウスアバターをリアルタイムにドライビング可能なバーチャルリアリティーヘッドセットに詰め込むことを目標としている。 512台のカメラで捉えた高品質なデータセットで、以前の研究であるAnimatable Gaussiansをトレーニングすることから始めます。 ガウスはリニアブレンドスキン(LBS)運動でガウスの基底セットを制御し、さらにニューラルネットワークデコーダでガウスを調整してその外観を補正する。 Meta Quest 3 VRヘッドセットにモデルをデプロイすると、デコーダとレンダリングという2つの大きな計算ボトルネックが見つかる。 デコーダを高速化するために、画素空間の代わりにUV空間でガウスアンを訓練し、デコーダを1つのニューラルネットワーク層に蒸留する。 さらに、ガウス地区がデコーダから1つの補正を共有できることがわかり、さらなる高速化が期待できる。 レンダリングを高速化するため、モバイルGPU上で動作するVulkanのカスタムパイプラインを開発しました。 まとめると、3台のガウスアバターを同時に72FPSでVRヘッドセットで走らせます。 デモビデオはhttps://forresti.github.io/squeezeme.comにある。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
  表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。 OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-12T13:00:06Z)
• HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior [24.094129395653134]
  HAHAは単眼入力ビデオからヒトアバターをアニマタブルに生成するための新しいアプローチである。 SMPL-Xパラメトリックモデルを用いて全身のアバターをアニメーション化しレンダリングする効率を実証する。
  論文  参考訳（メタデータ） (2024-04-01T11:23:38Z)
• Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
  Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。 テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。 いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
  論文  参考訳（メタデータ） (2023-12-20T16:14:58Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
  3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。 我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。 実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-14T18:54:32Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• HUGS: Human Gaussian Splats [21.73294518957075]
  HUGS(Human Gaussian Splats)を紹介する。 本手法は,少数の(50-100)フレームのモノクロ映像のみを撮影し,30分以内に静止シーンと完全にアニメーション可能な人間のアバターを自動で切り離すことを学習する。 我々は60FPSのレンダリング速度で最先端のレンダリング品質を実現し、従来の作業よりも100倍高速なトレーニングを実現した。
  論文  参考訳（メタデータ） (2023-11-29T18:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。