論文の概要: GASP: Gaussian Avatars with Synthetic Priors

• arxiv url: http://arxiv.org/abs/2412.07739v1
• Date: Tue, 10 Dec 2024 18:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:38:14.112164
• Title: GASP: Gaussian Avatars with Synthetic Priors
• Title（参考訳）: GASP: 合成優先度を持つガウスアバター
• Authors: Jack Saunders, Charlie Hewitt, Yanan Jian, Marek Kowalski, Tadas Baltrusaitis, Yiye Chen, Darren Cosker, Virginia Estellers, Nicholas Gyde, Vinay P. Namboodiri, Benjamin E Lundell,
• Abstract要約: GASP:Gaussian Avatars with Synthetic Priorsを提案する。 我々は合成データのピクセル完全性を利用してガウスアバターを事前に訓練する。 私たちの事前は、推論ではなく、リアルタイムアプリケーションを可能にするためにのみ必要です。
• 参考スコア（独自算出の注目度）: 30.404213841722108
• License:
• Abstract: Gaussian Splatting has changed the game for real-time photo-realistic rendering. One of the most popular applications of Gaussian Splatting is to create animatable avatars, known as Gaussian Avatars. Recent works have pushed the boundaries of quality and rendering efficiency but suffer from two main limitations. Either they require expensive multi-camera rigs to produce avatars with free-view rendering, or they can be trained with a single camera but only rendered at high quality from this fixed viewpoint. An ideal model would be trained using a short monocular video or image from available hardware, such as a webcam, and rendered from any view. To this end, we propose GASP: Gaussian Avatars with Synthetic Priors. To overcome the limitations of existing datasets, we exploit the pixel-perfect nature of synthetic data to train a Gaussian Avatar prior. By fitting this prior model to a single photo or video and fine-tuning it, we get a high-quality Gaussian Avatar, which supports 360$^\circ$ rendering. Our prior is only required for fitting, not inference, enabling real-time application. Through our method, we obtain high-quality, animatable Avatars from limited data which can be animated and rendered at 70fps on commercial hardware. See our project page (https://microsoft.github.io/GASP/) for results.
• Abstract（参考訳）: Gaussian Splattingはリアルタイム写真リアリスティックレンダリングのゲームを変更した。 ガウシアン・スティングの最も一般的な応用の1つは、ガウシアン・アバターとして知られるアニマタブル・アバターを作ることである。 近年の作業は品質とレンダリング効率の境界を押し上げているが、2つの大きな限界に悩まされている。 フリービューレンダリングでアバターを作るのに高価なマルチカメラリグを必要とするか、単一のカメラでトレーニングできるが、この固定された視点でのみ高品質にレンダリングできる。 理想的なモデルは、Webカメラのような利用可能なハードウェアからの短いモノクロビデオまたはイメージを使用してトレーニングされ、あらゆるビューからレンダリングされる。 そこで我々はGASP: Gaussian Avatars with Synthetic Priorsを提案する。 既存のデータセットの限界を克服するために、合成データのピクセル完全性を利用してガウスアバターを事前訓練する。 この前のモデルを1枚の写真やビデオに合わせると、高画質のガウスアバターが、360$^\circ$レンダリングをサポートする。 私たちの事前は、推論ではなく、リアルタイムアプリケーションを可能にするためにのみ必要です。 提案手法により,商用ハードウェア上で70fpsでアニメーションおよびレンダリングが可能な制限データから高品質でアニマタブルなアバターを得る。 プロジェクトページ(https://microsoft.github.io/GASP/)を参照してください。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• LightAvatar: Efficient Head Avatar as Dynamic Neural Light Field [58.93692943064746]
  ニューラル光場(NeLF)に基づく最初の頭部アバターモデルであるLightAvatarを紹介する。 LightAvatarは3DMMパラメータから画像をレンダリングし、メッシュやボリュームレンダリングを使わずに、単一のネットワークフォワードパスを介してカメラがポーズする。
  論文  参考訳（メタデータ） (2024-09-26T17:00:02Z)
• Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
  本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。 提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
  論文  参考訳（メタデータ） (2024-07-15T13:25:07Z)
• HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior [24.094129395653134]
  HAHAは単眼入力ビデオからヒトアバターをアニマタブルに生成するための新しいアプローチである。 SMPL-Xパラメトリックモデルを用いて全身のアバターをアニメーション化しレンダリングする効率を実証する。
  論文  参考訳（メタデータ） (2024-04-01T11:23:38Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• FlashAvatar: High-fidelity Head Avatar with Efficient Gaussian Embedding [33.03011612052884]
  FlashAvatarは、新しくて軽量な3Dアニマタブルなアバター表現である。 短い単眼ビデオシーケンスから数分でデジタルアバターを再構築することができる。 コンシューマグレードのGPU上で300FPSで高忠実なフォトリアリスティック画像をレンダリングすることができる。
  論文  参考訳（メタデータ） (2023-12-03T07:23:53Z)
• OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering [81.55960827071661]
  制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T09:12:03Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。