論文の概要: LAM: Large Avatar Model for One-shot Animatable Gaussian Head

• arxiv url: http://arxiv.org/abs/2502.17796v1
• Date: Tue, 25 Feb 2025 02:57:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:22:23.411339
• Title: LAM: Large Avatar Model for One-shot Animatable Gaussian Head
• Title（参考訳）: LAM:ワンショットアニマタブルガウシアンヘッド用大型アバターモデル
• Authors: Yisheng He, Xiaodong Gu, Xiaodan Ye, Chao Xu, Zhengyi Zhao, Yuan Dong, Weihao Yuan, Zilong Dong, Liefeng Bo,
• Abstract要約: 一つの画像からガウスの頭部再構成を行うための革新的な大型アバターモデル LAM を提案する。 LAMはアニマタブルなガウスヘッドを1つのフォワードパスで生成し、追加のネットワークや後処理ステップを使わずに再現とレンダリングを可能にする。
• 参考スコア（独自算出の注目度）: 20.503641046404184
• License:
• Abstract: We present LAM, an innovative Large Avatar Model for animatable Gaussian head reconstruction from a single image. Unlike previous methods that require extensive training on captured video sequences or rely on auxiliary neural networks for animation and rendering during inference, our approach generates Gaussian heads that are immediately animatable and renderable. Specifically, LAM creates an animatable Gaussian head in a single forward pass, enabling reenactment and rendering without additional networks or post-processing steps. This capability allows for seamless integration into existing rendering pipelines, ensuring real-time animation and rendering across a wide range of platforms, including mobile phones. The centerpiece of our framework is the canonical Gaussian attributes generator, which utilizes FLAME canonical points as queries. These points interact with multi-scale image features through a Transformer to accurately predict Gaussian attributes in the canonical space. The reconstructed canonical Gaussian avatar can then be animated utilizing standard linear blend skinning (LBS) with corrective blendshapes as the FLAME model did and rendered in real-time on various platforms. Our experimental results demonstrate that LAM outperforms state-of-the-art methods on existing benchmarks.
• Abstract（参考訳）: 一つの画像からガウスの頭部再構成を行うための革新的な大型アバターモデル LAM を提案する。 従来の方法では、キャプチャされたビデオシーケンスを広範囲にトレーニングしたり、推論中のアニメーションやレンダリングに補助的なニューラルネットワークを頼りにしていたりと異なり、我々の手法は即座にアニメーション可能でレンダリング可能なガウスヘッドを生成する。 具体的には、1つのフォワードパスでアニマタブルなガウスヘッドを生成し、追加のネットワークや後処理ステップなしで再現とレンダリングを可能にする。 この機能は既存のレンダリングパイプラインにシームレスに統合し、携帯電話を含む幅広いプラットフォームにわたるリアルタイムアニメーションとレンダリングを保証する。 我々のフレームワークの中心は、FLAMEの標準点をクエリとして利用する標準ガウス属性生成器である。 これらの点はTransformerを通じてマルチスケールの画像特徴と相互作用し、標準空間のガウス属性を正確に予測する。 再建された標準ガウスアバターは、FLAMEモデルのように標準的なリニアブレンドスキン(LBS)を用いてアニメーションすることができ、様々なプラットフォーム上でリアルタイムでレンダリングされる。 実験の結果,LAMは既存のベンチマークにおいて最先端の手法よりも優れていた。

関連論文リスト

• SqueezeMe: Mobile-Ready Distillation of Gaussian Full-Body Avatars [19.249226899376943]
  本稿では,高忠実度3Dガウスフルボディアバターを軽量な表現に変換するフレームワークであるSqueezeMeを紹介する。 私たちはMeta Quest 3 VRヘッドセットで3つのガウスアバターをリアルタイムで(72FPS)同時アニメーションとレンダリングを初めて実現しました。
  論文  参考訳（メタデータ） (2024-12-19T18:46:55Z)
• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
  本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。 提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
  論文  参考訳（メタデータ） (2024-07-15T13:25:07Z)
• Gaussian Eigen Models for Human Heads [28.49783203616257]
  現在のパーソナライズされたニューラルヘッドアバターはトレードオフに直面している。軽量モデルは詳細とリアリズムを欠いているが、高品質でアニマタブルなアバターは計算資源がかなり必要である。 本稿では,高品質で軽量で制御しやすい頭部アバターを提供するガウス固有モデル(GEM)を紹介する。
  論文  参考訳（メタデータ） (2024-07-05T14:30:24Z)
• 3D Gaussian Blendshapes for Head Avatar Animation [31.488663463060416]
  フォトリアリスティックヘッドアバターをモデル化するための3次元ガウス混合モデルを提案する。 任意の表現のアバターモデルは、中立モデルと表現が混在することで効果的に生成することができる。 高忠実度頭部アバターアニメーションはガウススプラッティングを用いてリアルタイムで合成できる。
  論文  参考訳（メタデータ） (2024-04-30T09:45:41Z)
• GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh [97.47701169876272]
  GoMAvatarは、リアルタイム、メモリ効率、高品質な人間のモデリングのための新しいアプローチである。 GoMAvatarは、レンダリング品質において、現在のモノラルな人間のモデリングアルゴリズムにマッチするか、上回っている。
  論文  参考訳（メタデータ） (2024-04-11T17:59:57Z)
• SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting [26.849406891462557]
  トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。 SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
  論文  参考訳（メタデータ） (2024-03-08T06:28:09Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。