論文の概要: RGBAvatar: Reduced Gaussian Blendshapes for Online Modeling of Head Avatars
- arxiv url: http://arxiv.org/abs/2503.12886v1
- Date: Mon, 17 Mar 2025 07:31:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 14:56:58.157089
- Title: RGBAvatar: Reduced Gaussian Blendshapes for Online Modeling of Head Avatars
- Title（参考訳）: RGBAvatar: 頭部アバターのオンラインモデリングのためのガウス漂白剤
- Authors: Linzhou Li, Yumeng Li, Yanlin Weng, Youyi Zheng, Kun Zhou,
- Abstract要約: 本報告では,RGBアバター (Reduceed Gaussian Blendshapes Avatar, RGBAvatar, RGBAvatar, RGBAvatar) を用いて, 頭部アバターをオンザフライで再現するのに十分な速度で再構築する方法を提案する。
提案手法は, 3次元MMパラメータを, 合成により縮小したブレンドシェープ重みにマッピングし, コンパクトなブレンドシェープ基底に導いた。
本研究では,オフライン設定に匹敵する品質を確保しつつ,リアルタイムに映像ストリームとして画像を再構築し,直接オンザフライで再現できるローカル・グローバル・サンプリング・ストラテジーを提案する。
- 参考スコア（独自算出の注目度）: 30.56664313203195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Reduced Gaussian Blendshapes Avatar (RGBAvatar), a method for reconstructing photorealistic, animatable head avatars at speeds sufficient for on-the-fly reconstruction. Unlike prior approaches that utilize linear bases from 3D morphable models (3DMM) to model Gaussian blendshapes, our method maps tracked 3DMM parameters into reduced blendshape weights with an MLP, leading to a compact set of blendshape bases. The learned compact base composition effectively captures essential facial details for specific individuals, and does not rely on the fixed base composition weights of 3DMM, leading to enhanced reconstruction quality and higher efficiency. To further expedite the reconstruction process, we develop a novel color initialization estimation method and a batch-parallel Gaussian rasterization process, achieving state-of-the-art quality with training throughput of about 630 images per second. Moreover, we propose a local-global sampling strategy that enables direct on-the-fly reconstruction, immediately reconstructing the model as video streams in real time while achieving quality comparable to offline settings. Our source code is available at https://github.com/gapszju/RGBAvatar.
- Abstract（参考訳）: 本稿では,RGBアバター(Reduceed Gaussian Blendshapes Avatar, RGBAvatar, RGBAvatar)を提案する。
3次元モーフィブルモデル(3DMM)からガウス混合モデル(3DMM)への線形基底を利用する従来の手法とは異なり、我々の手法は3DMMパラメータをMLPで縮小したブレンドシェープ重みにマッピングし、コンパクトなブレンドシェープ基底となる。
学習されたコンパクトベース組成物は、特定の個人に不可欠な顔の詳細を効果的に把握し、3DMMの固定されたベース組成重みに依存しないため、再建品質が向上し、効率が向上する。
再現過程を高速化するために, 高速なカラー初期化推定法とバッチ並列ガウスラスタ化法を開発し, 毎秒約630イメージのトレーニングスループットで最先端品質を実現する。
さらに,オフライン設定に匹敵する品質を達成しつつ,リアルタイムに映像ストリームとしてモデルを再構築し,直接オンザフライで復元できるローカル・グローバル・サンプリング・ストラテジーを提案する。
ソースコードはhttps://github.com/gapszju/RGBAvatar.comから入手可能です。
関連論文リスト
- DiMeR: Disentangled Mesh Reconstruction Model [24.07380724530745]
スパース・ビュー・メッシュ再構成のための新しい2ストリームフィードフォワードモデルであるDiMeRを導入する。
我々は,スパースビュー再構成,シングルイメージ・トゥ・3D,テキスト・トゥ・3Dなど,様々なタスクにまたがるロバストな機能を示す。
論文 参考訳（メタデータ） (2025-04-24T15:39:20Z) - HORT: Monocular Hand-held Objects Reconstruction with Transformers [61.36376511119355]
モノクロ画像から手持ちの物体を3Dで再構成することは、コンピュータビジョンにおいて重要な課題である。
ハンドヘルドオブジェクトの高密度な3次元点群を効率的に再構成するトランスフォーマーモデルを提案する。
提案手法は,高速な推測速度で最先端の精度を達成し,画像の幅を最適化する。
論文 参考訳（メタデータ） (2025-03-27T09:45:09Z) - Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation [1.0027737736304287]
ニューラル再構成の強みと物理ベースのレンダリングを組み合わせたハイブリッドアプローチを導入する。
提案手法は,特に道路面やレーンマーキングにおいて,新規なビュー合成品質を著しく向上させる。
ノイズの多いLiDAR点雲からの奥行き正則化により、元の画像上でカスタマイズされたNeRFモデルをトレーニングすることで、これを実現する。
論文 参考訳（メタデータ） (2025-03-12T15:18:50Z) - 3D Gaussian Splatting with Normal Information for Mesh Extraction and Improved Rendering [8.59572577251833]
ガウス関数から推定される符号距離関数の勾配を用いた新しい正規化法を提案する。
我々は、Mip-NeRF360、Tamps and Temples、Deep-Blendingなどのデータセットに対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2025-01-14T18:40:33Z) - MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction [84.07233691641193]
高品質な再構成のための神経信号距離場(SDF)とプリミティブを結合する新しい手法であるMonoGSDFを紹介する。
任意のスケールのシーンを扱うために,ロバストな一般化のためのスケーリング戦略を提案する。
実世界のデータセットの実験は、効率を保ちながら、以前の方法よりも優れています。
論文 参考訳（メタデータ） (2024-11-25T20:07:07Z) - GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
マルチビュー画像から3次元メッシュを再構成する手法を提案する。
提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
論文 参考訳（メタデータ） (2024-06-09T05:19:24Z) - InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。
InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。
3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。
UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。
モデル化された結果が最先端のアプローチを上回る実験を行ないました。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction
Model [37.75256020559125]
本稿では,高忠実度フィードフォワード画像から3次元画像生成モデルを提案する。
ネットワーク設計に幾何学的事前情報を統合する必要性を強調した。
我々のモデルは、テストタイムの最適化なしに、画像から10秒で高忠実なテクスチャメッシュを提供する。
論文 参考訳（メタデータ） (2024-03-08T04:25:29Z) - GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting [14.937297984020821]
本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。
本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
論文 参考訳（メタデータ） (2024-01-18T04:48:13Z) - NeuManifold: Neural Watertight Manifold Reconstruction with Efficient and High-Quality Rendering Support [43.5015470997138]
マルチビュー入力画像から高品質な水密多様体メッシュを生成する手法を提案する。
提案手法は両世界の利点を組み合わせ, ニューラルネットワークから得られる幾何学と, よりコンパクトな神経テクスチャ表現を最適化する。
論文 参考訳（メタデータ） (2023-05-26T17:59:21Z) - $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D
Reconstruction [97.06927852165464]
単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。
条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
論文 参考訳（メタデータ） (2023-02-21T13:37:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。