論文の概要: Gaussian Eigen Models for Human Heads

• arxiv url: http://arxiv.org/abs/2407.04545v2
• Date: Tue, 14 Jan 2025 18:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:25:17.038462
• Title: Gaussian Eigen Models for Human Heads
• Title（参考訳）: ヒト頭部のガウス固有モデル
• Authors: Wojciech Zielonka, Timo Bolkart, Thabo Beeler, Justus Thies,
• Abstract要約: 現在のパーソナライズされたニューラルヘッドアバターはトレードオフに直面している。軽量モデルは詳細とリアリズムを欠いているが、高品質でアニマタブルなアバターは計算資源がかなり必要である。 本稿では,高品質で軽量で制御しやすい頭部アバターを提供するガウス固有モデル(GEM)を紹介する。
• 参考スコア（独自算出の注目度）: 28.49783203616257
• License:
• Abstract: Current personalized neural head avatars face a trade-off: lightweight models lack detail and realism, while high-quality, animatable avatars require significant computational resources, making them unsuitable for commodity devices. To address this gap, we introduce Gaussian Eigen Models (GEM), which provide high-quality, lightweight, and easily controllable head avatars. GEM utilizes 3D Gaussian primitives for representing the appearance combined with Gaussian splatting for rendering. Building on the success of mesh-based 3D morphable face models (3DMM), we define GEM as an ensemble of linear eigenbases for representing the head appearance of a specific subject. In particular, we construct linear bases to represent the position, scale, rotation, and opacity of the 3D Gaussians. This allows us to efficiently generate Gaussian primitives of a specific head shape by a linear combination of the basis vectors, only requiring a low-dimensional parameter vector that contains the respective coefficients. We propose to construct these linear bases (GEM) by distilling high-quality compute-intense CNN-based Gaussian avatar models that can generate expression-dependent appearance changes like wrinkles. These high-quality models are trained on multi-view videos of a subject and are distilled using a series of principal component analyses. Once we have obtained the bases that represent the animatable appearance space of a specific human, we learn a regressor that takes a single RGB image as input and predicts the low-dimensional parameter vector that corresponds to the shown facial expression. In a series of experiments, we compare GEM's self-reenactment and cross-person reenactment results to state-of-the-art 3D avatar methods, demonstrating GEM's higher visual quality and better generalization to new expressions.
• Abstract（参考訳）: 現在のパーソナライズされたニューラルヘッドアバターはトレードオフに直面している。軽量モデルは詳細とリアリズムを欠いているが、高品質でアニマタブルなアバターは計算資源をかなり必要としており、コモディティデバイスには適さない。 このギャップに対処するために、高品質で軽量で制御しやすいヘッドアバターを提供するガウス固有モデル(GEM)を導入する。 GEMは3Dガウスプリミティブを使用して外観を表現する。 メッシュベースの3Dフォーマブルフェイスモデル(3DMM)の成功に基づいて、GEMを特定の被験者の頭部の外観を表す線形固有基底のアンサンブルとして定義する。 特に,3次元ガウス関数の位置,スケール,回転,不透明度を表す線形基底を構成する。 これにより、基底ベクトルの線形結合によって特定の頭部形状のガウス原始を効率的に生成することができ、各係数を含む低次元パラメータベクトルのみを必要とする。 我々は,これらの線形ベース(GEM)を,シワのような表現依存的な外観変化を生成できる高品質なCNNベースのガウスアバターモデルを蒸留することによって構築することを提案する。 これらの高品質なモデルは、被験者のマルチビュービデオに基づいて訓練され、一連の主成分分析を用いて蒸留される。 特定の人間のアニマタブルな外観空間を表すベースが得られたら、単一のRGB画像を入力として取り出す回帰器を学習し、表示された表情に対応する低次元パラメータベクトルを予測する。 一連の実験において、GEMの自己再現と対人再現の結果を最先端の3Dアバター法と比較し、GEMの視覚的品質の向上と新しい表現への一般化を実証した。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
  本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。 パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。 最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-23T00:11:30Z)
• iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
  モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。 この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。 我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
  論文  参考訳（メタデータ） (2024-07-15T18:51:51Z)
• MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
  本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
  論文  参考訳（メタデータ） (2024-05-31T14:35:35Z)
• GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh [97.47701169876272]
  GoMAvatarは、リアルタイム、メモリ効率、高品質な人間のモデリングのための新しいアプローチである。 GoMAvatarは、レンダリング品質において、現在のモノラルな人間のモデリングアルゴリズムにマッチするか、上回っている。
  論文  参考訳（メタデータ） (2024-04-11T17:59:57Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Controllable Text-to-3D Generation via Surface-Aligned Gaussian Splatting [9.383423119196408]
  本稿では,既存の多視点拡散モデルを強化するために設計されたニューラルネットワークアーキテクチャであるMulti-view ControlNet(MVControl)を紹介する。 MVControlは最適化ベースの3D生成のための3D拡散ガイダンスを提供することができる。 効率性を追求するために、一般的に使用される暗黙の表現の代わりに、3Dガウスを表現として採用する。
  論文  参考訳（メタデータ） (2024-03-15T02:57:20Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。