論文の概要: GSAC: Leveraging Gaussian Splatting for Photorealistic Avatar Creation with Unity Integration

• arxiv url: http://arxiv.org/abs/2504.12999v1
• Date: Thu, 17 Apr 2025 15:10:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:35:42.022839
• Title: GSAC: Leveraging Gaussian Splatting for Photorealistic Avatar Creation with Unity Integration
• Title（参考訳）: GSAC: ユニティ統合によるフォトリアリスティックアバター作成のためのガウス平滑化
• Authors: Rendong Zhang, Alexandra Watkins, Nilanjan Sarkar,
• Abstract要約: フォトリアリスティックアバターは、仮想現実(VR)や拡張現実(AR)における没入型アプリケーションに不可欠であり、トレーニングシミュレーション、遠隔医療、バーチャルコラボレーションなどの分野におけるライフライクなインタラクションを可能にする。 既存のアバター生成技術は、高コスト、長い作成時間、仮想アプリケーションにおける限られたユーティリティなど、重大な課題に直面している。 本稿では,モノクロビデオ入力を活用して,スケーラブルで効率的な光リアルアバターを作成する,エンドツーエンドの3Dガウス3DGSアバター生成パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 45.439388725485124
• License:
• Abstract: Photorealistic avatars have become essential for immersive applications in virtual reality (VR) and augmented reality (AR), enabling lifelike interactions in areas such as training simulations, telemedicine, and virtual collaboration. These avatars bridge the gap between the physical and digital worlds, improving the user experience through realistic human representation. However, existing avatar creation techniques face significant challenges, including high costs, long creation times, and limited utility in virtual applications. Manual methods, such as MetaHuman, require extensive time and expertise, while automatic approaches, such as NeRF-based pipelines often lack efficiency, detailed facial expression fidelity, and are unable to be rendered at a speed sufficent for real-time applications. By involving several cutting-edge modern techniques, we introduce an end-to-end 3D Gaussian Splatting (3DGS) avatar creation pipeline that leverages monocular video input to create a scalable and efficient photorealistic avatar directly compatible with the Unity game engine. Our pipeline incorporates a novel Gaussian splatting technique with customized preprocessing that enables the user of "in the wild" monocular video capture, detailed facial expression reconstruction and embedding within a fully rigged avatar model. Additionally, we present a Unity-integrated Gaussian Splatting Avatar Editor, offering a user-friendly environment for VR/AR application development. Experimental results validate the effectiveness of our preprocessing pipeline in standardizing custom data for 3DGS training and demonstrate the versatility of Gaussian avatars in Unity, highlighting the scalability and practicality of our approach.
• Abstract（参考訳）: 光現実性アバターは仮想現実(VR)や拡張現実(AR)における没入型アプリケーションに欠かせないものとなり、トレーニングシミュレーション、遠隔医療、バーチャルコラボレーションといった分野におけるライフライクなインタラクションを可能にしている。 これらのアバターは物理的世界とデジタル世界のギャップを埋め、リアルな人間の表現を通してユーザー体験を改善する。 しかし、既存のアバター生成技術は、高コスト、長い作成時間、仮想アプリケーションにおける限られたユーティリティなど、重大な課題に直面している。 MetaHumanのような手動の手法では、広範囲の時間と専門知識を必要とするが、NeRFベースのパイプラインのような自動的なアプローチは、効率性や詳細な表情の忠実さに欠けることが多く、リアルタイムアプリケーションに十分な速度でレンダリングできない。 最先端の最新の技術をいくつか取り入れることで,単眼ビデオ入力を利用してUnityゲームエンジンと直接互換性のあるスケーラブルで効率的なフォトリアリスティックなアバターを作成する,エンドツーエンドの3Dガウス製3DGSアバター生成パイプラインを導入する。 当社のパイプラインでは,"野生の"モノクロビデオキャプチャ,表情の詳細な再構築と,完全にリグされたアバターモデルへの埋め込みを可能にする,カスタマイズされた前処理を備えた新しいガウス製スプラッティング技術が組み込まれている。 さらに,VR/ARアプリケーション開発のためのユーザフレンドリーな環境を提供する,Unity統合のガウス版Splatting Avatar Editorを提案する。 3DGSトレーニングのためのカスタムデータの標準化における前処理パイプラインの有効性を検証するとともに,Unityにおけるガウスアバターの汎用性を実証し,我々のアプローチのスケーラビリティと実用性を強調した。

関連論文リスト

• SqueezeMe: Mobile-Ready Distillation of Gaussian Full-Body Avatars [19.249226899376943]
  本稿では,高忠実度3Dガウスフルボディアバターを軽量な表現に変換するフレームワークであるSqueezeMeを紹介する。 私たちはMeta Quest 3 VRヘッドセットで3つのガウスアバターをリアルタイムで(72FPS)同時アニメーションとレンダリングを初めて実現しました。
  論文  参考訳（メタデータ） (2024-12-19T18:46:55Z)
• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• GenCA: A Text-conditioned Generative Model for Realistic and Drivable Codec Avatars [44.8290935585746]
  フォトリアリスティックでコントロール可能な3Dアバターは、バーチャルリアリティー(VR/MR)、テレプレゼンス、ゲーム、映画制作など、様々な用途に欠かせない。 アバター作成の伝統的な方法は、しばしば各アバターのスキャンと再構築に時間を要する。 本稿では,多彩なアイデンティティを持つ写真リアルな顔アバターを生成可能なテキスト条件生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-24T21:25:22Z)
• NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
  マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。 我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:58:09Z)
• VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality [39.53150683721031]
  提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。 私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
  論文  参考訳（メタデータ） (2024-01-30T01:28:36Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。