論文の概要: MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2412.04955v2
- Date: Wed, 11 Dec 2024 06:00:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:44:55.680665
- Title: MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting
- Title（参考訳）: MixedGaussian Avatar:Mixed 2D-3D Gaussian Splattingによるリアルかつ幾何学的に正確な頭部アバター
- Authors: Peng Chen, Xiaobao Wei, Qingpo Wuwu, Xinyi Wang, Xingyu Xiao, Ming Lu,
- Abstract要約: 高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。
最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。
そこで我々は,MixedGaussian Avatarという新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 38.16397253003339
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing high-fidelity 3D head avatars is crucial in various applications such as virtual reality. The pioneering methods reconstruct realistic head avatars with Neural Radiance Fields (NeRF), which have been limited by training and rendering speed. Recent methods based on 3D Gaussian Splatting (3DGS) significantly improve the efficiency of training and rendering. However, the surface inconsistency of 3DGS results in subpar geometric accuracy; later, 2DGS uses 2D surfels to enhance geometric accuracy at the expense of rendering fidelity. To leverage the benefits of both 2DGS and 3DGS, we propose a novel method named MixedGaussianAvatar for realistically and geometrically accurate head avatar reconstruction. Our main idea is to utilize 2D Gaussians to reconstruct the surface of the 3D head, ensuring geometric accuracy. We attach the 2D Gaussians to the triangular mesh of the FLAME model and connect additional 3D Gaussians to those 2D Gaussians where the rendering quality of 2DGS is inadequate, creating a mixed 2D-3D Gaussian representation. These 2D-3D Gaussians can then be animated using FLAME parameters. We further introduce a progressive training strategy that first trains the 2D Gaussians and then fine-tunes the mixed 2D-3D Gaussians. We demonstrate the superiority of MixedGaussianAvatar through comprehensive experiments. The code will be released at: https://github.com/ChenVoid/MGA/.
- Abstract（参考訳）: 高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。
先駆的な手法は、トレーニングとレンダリング速度によって制限されたNeRF(Neural Radiance Fields)を用いて、現実的な頭部アバターを再構築する。
最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。
しかし、3DGSの表面の不整合により幾何学的精度は低く、後に2DGSは2Dサーベイルを使用して図面の忠実さを犠牲にして幾何的精度を向上する。
2DGSと3DGSの両方の利点を活用するために,MixedGaussian Avatarという新しい手法を提案する。
主目的は2次元ガウシアンを用いて3次元頭部の表面を再構築し、幾何学的精度を確保することである。
FLAMEモデルの三角形メッシュに2Dガウスアンをアタッチし、2DGSのレンダリング品質が不十分な2Dガウスアンに3Dガウスアンを追加接続し、混合した2D-3Dガウス表現を生成する。
これらの2D-3DガウスはFLAMEパラメータを使ってアニメーションできる。
さらに,まず2Dガウシアンを訓練し,その後混合した2D-3Dガウシアンを微調整するプログレッシブトレーニング戦略を導入する。
総合実験により,MixedGaussianAvatarの優位性を実証した。
コードは、https://github.com/ChenVoid/MGA/でリリースされる。
関連論文リスト
- SHeaP: Self-Supervised Head Geometry Predictor Learned via 2D Gaussians [55.813327441814344]
モノクロ画像とビデオからの頭部の3次元再構成は、多くの視覚的応用の根底にある。
従来の手法は、豊富な2Dビデオから自己監督的な方法で学習しようとしてきた。
SHeaP (Self-supervised Head Geometry Predictor Learned through 2D Gaussian)を提案する。
論文 参考訳（メタデータ） (2025-04-16T17:55:02Z) - High-fidelity 3D Object Generation from Single Image with RGBN-Volume Gaussian Reconstruction Model [38.13429047918231]
本稿では,3次元のボクセル表現が明示的な3次元幾何情報を含む,新しいハイブリッドなVoxel-Gaussian表現を提案する。
我々の3Dボクセル表現は、2D画像から推定できるRGB特徴と表面正規特徴を整列する融合モジュールによって得られる。
論文 参考訳（メタデータ） (2025-04-02T08:58:34Z) - GaussRender: Learning 3D Occupancy with Gaussian Rendering [86.89653628311565]
GaussRenderは、投影的一貫性を強制することによって3D占有学習を改善するモジュールである。
提案手法は,不整合な2次元プロジェクションを生成する3次元構成をペナライズすることにより,より一貫性のある3次元構造を実現する。
論文 参考訳（メタデータ） (2025-02-07T16:07:51Z) - MiraGe: Editable 2D Images using Gaussian Splatting [0.0]
Inlicit Neural Representation (INRs) は連続関数を通して離散データを近似し、2次元画像を符号化するのによく用いられる。
ミラー反射法を用いて3次元空間の2次元画像を知覚し,平面制御されたガウスアンを用いて正確な2次元画像編集を行う新しい手法であるMiraGeを提案する。
われわれのアプローチは、レンダリングの質を改善し、リアルな画像修正を可能にする。
論文 参考訳（メタデータ） (2024-10-02T13:10:57Z) - 3D-GSW: 3D Gaussian Splatting for Robust Watermarking [5.52538716292462]
モデルとレンダリング画像の両方の所有権を確保する3D-GSのためのロバストな透かし方式を提案する。
提案手法は高いレンダリング品質を維持しながら、レンダリング画像の歪みやモデルアタックに対して頑健である。
論文 参考訳（メタデータ） (2024-09-20T05:16:06Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。
また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - LeanGaussian: Breaking Pixel or Point Cloud Correspondence in Modeling 3D Gaussians [12.408610403423559]
変形可能なトランスフォーマーにおける各クエリを1つの3次元ガウス楕円体として扱う新しいアプローチであるLeanGaussianを紹介する。
変形可能なデコーダを用いて、画像特徴をキーと値として、ガウス層を反復的に洗練する。
提案手法は従来の手法よりも約6.1%優れ,PSNRは25.44,PSNRは22.36であった。
論文 参考訳（メタデータ） (2024-04-25T04:18:59Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳（メタデータ） (2023-12-05T19:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。