論文の概要: SAGA: Surface-Aligned Gaussian Avatar

• arxiv url: http://arxiv.org/abs/2412.00845v1
• Date: Sun, 01 Dec 2024 15:18:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:42:44.295418
• Title: SAGA: Surface-Aligned Gaussian Avatar
• Title（参考訳）: SAGA:表面配向型ガウスアバター
• Authors: Ronghan Chen, Yang Cong, Jiayue Liu,
• Abstract要約: 本稿では,モノクロビデオからアニマタブルなヒトアバターを作成するための表面配向ガウス表現を提案する。 高速なトレーニングとリアルタイムレンダリングを確保しながら、新しいビューを改善し、パフォーマンスを示すことを目的としている。
• 参考スコア（独自算出の注目度）: 18.171479373951495
• License:
• Abstract: This paper presents a Surface-Aligned Gaussian representation for creating animatable human avatars from monocular videos,aiming at improving the novel view and pose synthesis performance while ensuring fast training and real-time rendering. Recently,3DGS has emerged as a more efficient and expressive alternative to NeRF, and has been used for creating dynamic human avatars. However,when applied to the severely ill-posed task of monocular dynamic reconstruction, the Gaussians tend to overfit the constantly changing regions such as clothes wrinkles or shadows since these regions cannot provide consistent supervision, resulting in noisy geometry and abrupt deformation that typically fail to generalize under novel views and poses.To address these limitations, we present SAGA,i.e.,Surface-Aligned Gaussian Avatar,which aligns the Gaussians with a mesh to enforce well-defined geometry and consistent deformation, thereby improving generalization under novel views and poses. Unlike existing strict alignment methods that suffer from limited expressive power and low realism,SAGA employs a two-stage alignment strategy where the Gaussians are first adhered on while then detached from the mesh, thus facilitating both good geometry and high expressivity. In the Adhered Stage, we improve the flexibility of Adhered-on-Mesh Gaussians by allowing them to flow on the mesh, in contrast to existing methods that rigidly bind Gaussians to fixed location. In the second Detached Stage, we introduce a Gaussian-Mesh Alignment regularization, which allows us to unleash the expressivity by detaching the Gaussians but maintain the geometric alignment by minimizing their location and orientation offsets from the bound triangles. Finally, since the Gaussians may drift outside the bound triangles during optimization, an efficient Walking-on-Mesh strategy is proposed to dynamically update the bound triangles.
• Abstract（参考訳）: 本稿では,モノクロビデオからアニマタブルな人間のアバターを作成するための表面配向ガウス表現を提案する。 最近、3DGSは、NeRFのより効率的で表現力のある代替品として登場し、動的ヒトアバターの作成に利用されている。 しかし、単分子的動的再構成の厳しい課題に適用すると、ガウス派は衣服のしわや影などの絶えず変化する領域に過度に適応する傾向にあり、これらの領域は一貫した監督ができないため、ノイズの多い幾何学や急激な変形をもたらす傾向にあり、このような制約に対処するため、SAGA、すなわち表面配向ガウス派アバター(英語版)はガウス派をメッシュで整列させ、厳密な幾何学的かつ一貫した変形を強制し、新しい視点やポーズの下で一般化を改善する。 限定的な表現力と低現実主義に苦しむ既存の厳密なアライメント手法とは異なり、SAGAはガウスが最初に固執し、メッシュから切り離された2段階のアライメント戦略を採用しており、優れた幾何学と高い表現性の両方を容易にしている。 固定位置にガウスアンを厳密に結合する既存の手法とは対照的に,Adhered-on-Mesh Gaussianをメッシュ上に流すことにより,Adhered-on-Mesh Gaussianの柔軟性を向上させる。 第2の分離段階において、ガウス・メシュ整列正則化を導入し、ガウスを分離することで表現性を解き放つが、その位置と向きのオフセットを有界三角形から最小化することで幾何学的アライメントを維持することができる。 最後に、ガウス群は最適化中に有界三角形の外を漂う可能性があるため、有界三角形を動的に更新する効率的なウォーキング・オン・メシュ戦略が提案されている。

関連論文リスト

• G2SDF: Surface Reconstruction from Explicit Gaussians with Implicit SDFs [84.07233691641193]
  G2SDFはニューラル暗黙の符号付き距離場をガウススプラッティングフレームワークに統合する新しいアプローチである。 G2SDFは, 3DGSの効率を維持しつつ, 従来よりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-11-25T20:07:07Z)
• DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
  本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。 複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T05:49:16Z)
• DyGASR: Dynamic Generalized Exponential Splatting with Surface Alignment for Accelerated 3D Mesh Reconstruction [1.2891210250935148]
  従来の3次元ガウス関数の代わりに一般化指数関数を用いて粒子数を減少させるDyGASRを提案する。 また,GSR(Generalized Surface Regularization)を導入し,各点雲の最小のスケーリングベクトルをゼロにする。 提案手法は既存の3DGSベースのメッシュ再構成手法を超越し,25%の高速化,30%のメモリ使用量の削減を実現している。
  論文  参考訳（メタデータ） (2024-11-14T03:19:57Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
  本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。 提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-01T18:14:42Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。