論文の概要: RGBAvatar: Reduced Gaussian Blendshapes for Online Modeling of Head Avatars

• arxiv url: http://arxiv.org/abs/2503.12886v1
• Date: Mon, 17 Mar 2025 07:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:30:35.436549
• Title: RGBAvatar: Reduced Gaussian Blendshapes for Online Modeling of Head Avatars
• Title（参考訳）: RGBAvatar: 頭部アバターのオンラインモデリングのためのガウス漂白剤
• Authors: Linzhou Li, Yumeng Li, Yanlin Weng, Youyi Zheng, Kun Zhou,
• Abstract要約: 本報告では,RGBアバター (Reduceed Gaussian Blendshapes Avatar, RGBAvatar, RGBAvatar, RGBAvatar) を用いて, 頭部アバターをオンザフライで再現するのに十分な速度で再構築する方法を提案する。 提案手法は, 3次元MMパラメータを, 合成により縮小したブレンドシェープ重みにマッピングし, コンパクトなブレンドシェープ基底に導いた。 本研究では,オフライン設定に匹敵する品質を確保しつつ,リアルタイムに映像ストリームとして画像を再構築し,直接オンザフライで再現できるローカル・グローバル・サンプリング・ストラテジーを提案する。
• 参考スコア（独自算出の注目度）: 30.56664313203195
• License:
• Abstract: We present Reduced Gaussian Blendshapes Avatar (RGBAvatar), a method for reconstructing photorealistic, animatable head avatars at speeds sufficient for on-the-fly reconstruction. Unlike prior approaches that utilize linear bases from 3D morphable models (3DMM) to model Gaussian blendshapes, our method maps tracked 3DMM parameters into reduced blendshape weights with an MLP, leading to a compact set of blendshape bases. The learned compact base composition effectively captures essential facial details for specific individuals, and does not rely on the fixed base composition weights of 3DMM, leading to enhanced reconstruction quality and higher efficiency. To further expedite the reconstruction process, we develop a novel color initialization estimation method and a batch-parallel Gaussian rasterization process, achieving state-of-the-art quality with training throughput of about 630 images per second. Moreover, we propose a local-global sampling strategy that enables direct on-the-fly reconstruction, immediately reconstructing the model as video streams in real time while achieving quality comparable to offline settings. Our source code is available at https://github.com/gapszju/RGBAvatar.
• Abstract（参考訳）: 本稿では,RGBアバター(Reduceed Gaussian Blendshapes Avatar, RGBAvatar, RGBAvatar)を提案する。 3次元モーフィブルモデル(3DMM)からガウス混合モデル(3DMM)への線形基底を利用する従来の手法とは異なり、我々の手法は3DMMパラメータをMLPで縮小したブレンドシェープ重みにマッピングし、コンパクトなブレンドシェープ基底となる。 学習されたコンパクトベース組成物は、特定の個人に不可欠な顔の詳細を効果的に把握し、3DMMの固定されたベース組成重みに依存しないため、再建品質が向上し、効率が向上する。 再現過程を高速化するために, 高速なカラー初期化推定法とバッチ並列ガウスラスタ化法を開発し, 毎秒約630イメージのトレーニングスループットで最先端品質を実現する。 さらに,オフライン設定に匹敵する品質を達成しつつ,リアルタイムに映像ストリームとしてモデルを再構築し,直接オンザフライで復元できるローカル・グローバル・サンプリング・ストラテジーを提案する。 ソースコードはhttps://github.com/gapszju/RGBAvatar.comから入手可能です。

関連論文リスト

• 3D Gaussian Splatting with Normal Information for Mesh Extraction and Improved Rendering [8.59572577251833]
  ガウス関数から推定される符号距離関数の勾配を用いた新しい正規化法を提案する。 我々は、Mip-NeRF360、Tamps and Temples、Deep-Blendingなどのデータセットに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-01-14T18:40:33Z)
• USP-Gaussian: Unifying Spike-based Image Reconstruction, Pose Correction and Gaussian Splatting [45.246178004823534]
  スパイクカメラは、0-1ビットストリームを40kHzで撮影する革新的なニューロモルフィックカメラとして、ますます3D再構成タスクに採用されている。 以前のスパイクベースの3D再構成アプローチでは、ケースケースのパイプラインを使うことが多い。 本稿では,スパイクに基づく画像再構成,ポーズ補正,ガウス的スプラッティングをエンドツーエンドのフレームワークに統一する,相乗的最適化フレームワーク textbfUSP-Gaussian を提案する。
  論文  参考訳（メタデータ） (2024-11-15T14:15:16Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction [153.52406455209538]
  Gambaは、単一のビューイメージからエンドツーエンドの3D再構成モデルである。 1つのNVIDIA A100 GPUで0.05秒以内に再構築が完了する。
  論文  参考訳（メタデータ） (2024-03-27T17:40:14Z)
• Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
  我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。 モデル化された結果が最先端のアプローチを上回る実験を行ないました。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model [37.75256020559125]
  本稿では,高忠実度フィードフォワード画像から3次元画像生成モデルを提案する。 ネットワーク設計に幾何学的事前情報を統合する必要性を強調した。 我々のモデルは、テストタイムの最適化なしに、画像から10秒で高忠実なテクスチャメッシュを提供する。
  論文  参考訳（メタデータ） (2024-03-08T04:25:29Z)
• NeuManifold: Neural Watertight Manifold Reconstruction with Efficient and High-Quality Rendering Support [43.5015470997138]
  マルチビュー入力画像から高品質な水密多様体メッシュを生成する手法を提案する。 提案手法は両世界の利点を組み合わせ, ニューラルネットワークから得られる幾何学と, よりコンパクトな神経テクスチャ表現を最適化する。
  論文  参考訳（メタデータ） (2023-05-26T17:59:21Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Real-time Dense Reconstruction of Tissue Surface from Stereo Optical Video [10.181846237133167]
  立体光学ビデオから組織表面の高密度3次元モデル(3次元)をリアルタイムに再構成する手法を提案する。 まずステレオマッチングを用いてビデオフレームから3D情報を抽出し,再構成した3Dモデルをモザイクする。 2mm未満の精度で高分解能テクスチャを有する復元3Dモデルについて, 生体内および生体内データによる実験結果を得た。
  論文  参考訳（メタデータ） (2020-07-16T19:14:05Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。