論文の概要: MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2412.04955v1
- Date: Fri, 06 Dec 2024 11:17:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:56:05.478566
- Title: MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting
- Title（参考訳）: MixedGaussian Avatar:Mixed 2D-3D Gaussian Splattingによるリアルかつ幾何学的に正確な頭部アバター
- Authors: Peng Chen, Xiaobao Wei, Qingpo Wuwu, Xinyi Wang, Xingyu Xiao, Ming Lu,
- Abstract要約: 高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。
最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。
そこで我々は,MixedGaussian Avatarという新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 38.16397253003339
- License:
- Abstract: Reconstructing high-fidelity 3D head avatars is crucial in various applications such as virtual reality. The pioneering methods reconstruct realistic head avatars with Neural Radiance Fields (NeRF), which have been limited by training and rendering speed. Recent methods based on 3D Gaussian Splatting (3DGS) significantly improve the efficiency of training and rendering. However, the surface inconsistency of 3DGS results in subpar geometric accuracy; later, 2DGS uses 2D surfels to enhance geometric accuracy at the expense of rendering fidelity. To leverage the benefits of both 2DGS and 3DGS, we propose a novel method named MixedGaussianAvatar for realistically and geometrically accurate head avatar reconstruction. Our main idea is to utilize 2D Gaussians to reconstruct the surface of the 3D head, ensuring geometric accuracy. We attach the 2D Gaussians to the triangular mesh of the FLAME model and connect additional 3D Gaussians to those 2D Gaussians where the rendering quality of 2DGS is inadequate, creating a mixed 2D-3D Gaussian representation. These 2D-3D Gaussians can then be animated using FLAME parameters. We further introduce a progressive training strategy that first trains the 2D Gaussians and then fine-tunes the mixed 2D-3D Gaussians. We demonstrate the superiority of MixedGaussianAvatar through comprehensive experiments. The code will be released at: https://github.com/ChenVoid/MGA/.
- Abstract（参考訳）: 高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。
先駆的な手法は、トレーニングとレンダリング速度によって制限されたNeRF(Neural Radiance Fields)を用いて、現実的な頭部アバターを再構築する。
最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。
しかし、3DGSの表面の不整合により幾何学的精度は低く、後に2DGSは2Dサーベイルを使用して図面の忠実さを犠牲にして幾何的精度を向上する。
2DGSと3DGSの両方の利点を活用するために,MixedGaussian Avatarという新しい手法を提案する。
主目的は2次元ガウシアンを用いて3次元頭部の表面を再構築し、幾何学的精度を確保することである。
FLAMEモデルの三角形メッシュに2Dガウスアンをアタッチし、2DGSのレンダリング品質が不十分な2Dガウスアンに3Dガウスアンを追加接続し、混合した2D-3Dガウス表現を生成する。
これらの2D-3DガウスはFLAMEパラメータを使ってアニメーションできる。
さらに,まず2Dガウシアンを訓練し,その後混合した2D-3Dガウシアンを微調整するプログレッシブトレーニング戦略を導入する。
総合実験により,MixedGaussianAvatarの優位性を実証した。
コードは、https://github.com/ChenVoid/MGA/でリリースされる。
関連論文リスト
- GraphAvatar: Compact Head Avatars with GNN-Generated 3D Gaussians [14.420981606586237]
本稿では,Graph Neural Networks (GNN) を用いて頭部アバターの3次元ガウス生成を行う GraphAvatar 手法を提案する。
提案手法では3次元ガウスモデルの代わりにGNNモデルを格納することができ,ストレージオーバーヘッドを10MBに抑えることができる。
我々は、GraphAvatarの利点を実証するための総合的な実験を行い、既存の視覚的忠実度とストレージ消費の手法を超越した。
論文 参考訳（メタデータ） (2024-12-18T16:05:40Z) - MiraGe: Editable 2D Images using Gaussian Splatting [0.0]
Inlicit Neural Representation (INRs) は連続関数を通して離散データを近似し、2次元画像を符号化するのによく用いられる。
ミラー反射法を用いて3次元空間の2次元画像を知覚し,平面制御されたガウスアンを用いて正確な2次元画像編集を行う新しい手法であるMiraGeを提案する。
われわれのアプローチは、レンダリングの質を改善し、リアルな画像修正を可能にする。
論文 参考訳（メタデータ） (2024-10-02T13:10:57Z) - LeanGaussian: Breaking Pixel or Point Cloud Correspondence in Modeling 3D Gaussians [12.408610403423559]
変形可能なトランスフォーマーにおける各クエリを1つの3次元ガウス楕円体として扱う新しいアプローチであるLeanGaussianを紹介する。
変形可能なデコーダを用いて、画像特徴をキーと値として、ガウス層を反復的に洗練する。
提案手法は従来の手法よりも約6.1%優れ,PSNRは25.44,PSNRは22.36であった。
論文 参考訳（メタデータ） (2024-04-25T04:18:59Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-08T18:56:33Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳（メタデータ） (2023-12-18T18:59:12Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳（メタデータ） (2023-12-05T19:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。