論文の概要: GHARP: Real-time Gaussian Head Animation from Large-scale Reconstruction Prior
- arxiv url: http://arxiv.org/abs/2610.10945v1
- Date: Wed, 07 Oct 2026 21:50:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.684106
- Title: GHARP: Real-time Gaussian Head Animation from Large-scale Reconstruction Prior
- Title(参考訳): GHARP: 大規模再建前のガウス頭部のリアルタイムアニメーション
- Abstract要約: GHARPは、被験者の入力画像と運転表情信号から3D人間の頭部をリアルタイムで認識する手法である。
問題を、対象の幾何学と外観をオフラインで表現するアイデンティティステージと、実行時にその上で表現依存残差を予測するアニメーションステージに分離する。
Ava-256ベンチマークでは,8倍のガウスを持つA100 GPUでは,最大13倍高速で動作し,最先端のクオリティを実現する。
- 参考スコア(独自算出の注目度): 29.078442882021665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present GHARP (Real-time Gaussian Head Animation from Large-scale Reconstruction Prior), a method that animates 3D human heads in real time from a few input images of a subject and a driving expression signal. We decouple the problem into an identity stage that builds a representation of the subject's geometry and appearance offline, and an animation stage that predicts expression-dependent residuals on top of it at runtime. This separation offers a favorable trade-off with respect to fidelity, quality and runtime: the identity stage can be expensive while the animation stage runs a lightweight network, optimized for mobile devices. Our method performs animation in a semantically structured latent space of a pretrained reconstruction model, where expression changes remain spatially contained, making residual prediction efficient. This reconstruction prior provides a consistent spatial layout, allowing fusion of multiple input views into a compact, fixed-size canonical Gaussian representation. While this two-stage design improves the runtime-quality trade-off, it still inherits a problem common to all expression-driven avatar methods: expression codes describe only the face and thus omit body pose and clothing position, making these regions underspecified in the input. The animation network faces an ill-posed mapping and resorts to averaging over conflicting body appearances, producing blur and temporal flicker. We address this with a body alignment network that learns to align the person's body in the target image with the input reference images, removing the ambiguity from the training signal. Our method achieves state-of-the-art quality on the Ava-256 benchmark while running up to 13x faster on an A100 GPU with 8x fewer Gaussians.
- Abstract(参考訳): GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior)は、被験者の入力画像と運転表情信号から3次元の頭部をリアルタイムでアニメーションする手法である。
問題を、対象の幾何学と外観をオフラインで表現するアイデンティティステージと、実行時にその上で表現依存残差を予測するアニメーションステージに分離する。
アニメーションステージがモバイルデバイス向けに最適化された軽量ネットワークを実行する間、アイデンティティステージは高価になる可能性がある。
提案手法は, 空間的変化が残らず, 残差予測を効率的に行う, 事前学習された再構成モデルの意味的構造化潜在空間でアニメーションを行う。
この再構成は、一貫した空間レイアウトを提供し、複数の入力ビューをコンパクトで固定サイズの標準ガウス表現に融合することを可能にする。
この2段階の設計は、実行時品質のトレードオフを改善するが、式駆動アバターメソッドに共通する問題を継承している。
アニメーションネットワークは、不適切なマッピングに直面し、対立する身体の外観を平均化し、ぼやけた時間的なフリックを発生させる。
対象画像中の人物の身体と入力参照画像との整合を学習し、トレーニング信号からあいまいさを除去するボディーアライメントネットワークを用いてこの問題に対処する。
Ava-256ベンチマークでは,8倍のガウスを持つA100 GPUでは,最大13倍高速で動作し,最先端のクオリティを実現する。
関連論文リスト
- One Basis to Animate Them All: Gaussian Blendshape Distillation for Real-Time Avatars [20.522795792033673]
GALA(Gaussian Animation via Linear Approximation)は,フレーム単位の重大神経復号を浅い係数予測器と線形ブレンドで置き換える手法である。
顔表情の3次元アニメーションと衣料動態のフルボディの3つの異なるアバターモデルの推論を高速化し,GALAを検証した。
論文 参考訳(メタデータ) (2026-10-01T17:59:58Z) - Tele360: Real-Time Feed-Forward Human Reconstruction from Sparse Unposed Cameras [43.56045236607455]
我々は,人間の動的再構成とライブ自由視点可視化のための,最初のリアルタイムフィードフォワードシステムであるTele360を紹介する。
本システムでは,時間インスタンス毎に動的3次元ガウス表現を共同で推定し,再構成する。
実験によると、Tele360は1台のGPU上で25FPS以上のリアルタイム2K入力・レンダリングをサポートしながら、スタジオベンチマークの最先端のビジュアル品質を実現している。
論文 参考訳(メタデータ) (2026-09-14T04:50:52Z) - RegHead: Non-Humanoid Head Blendshapes via Feed-Forward Registration [64.34831170405567]
本稿では,非ヒューマノイド頭部アバターに対する意味的ブレンドシェープセットを構築するためのフレームワークRegHeadを提案する。
提案手法は,ベースラインよりも高忠実度表現メッシュを生成すると同時に,最適化よりも桁違いに高速に実行する。
論文 参考訳(メタデータ) (2026-07-13T23:16:29Z) - Instant Expressive Gaussian Head Avatar via 3D-Aware Expression Distillation [46.27695095774081]
2次元拡散法は、しばしば3次元の一貫性と速度を損なう。
3D対応の顔アニメーションフィードフォワード法は、3D一貫性を確保し、より高速な推論速度を実現する。
我々の手法は107.31 FPSでアニメーションとポーズの制御を行い、最先端のアニメーションに匹敵する品質を実現している。
論文 参考訳(メタデータ) (2025-12-18T18:53:28Z) - StableAnimator++: Overcoming Pose Misalignment and Face Distortion for Human Image Animation [98.10527466949338]
人間の画像アニメーションの現在の拡散モデルは、アイデンティティの整合性を維持するのに苦労することが多い。
学習可能なポーズアライメントを備えた最初のID保存ビデオ拡散フレームワークであるStableAnimator++を紹介する。
本稿では,StableAnimator++が参照画像とポーズシーケンスに条件付き高品質な動画を後処理なしで生成する方法を示す。
論文 参考訳(メタデータ) (2025-07-20T17:59:26Z) - OT-Talk: Animating 3D Talking Head with Optimal Transportation [20.023346831300373]
OT-Talkは、音声ヘッドアニメーションの学習モデルを最適化するために最適なトランスポートを利用する最初のアプローチである。
既存の学習フレームワークに基づいて,事前学習したHubertモデルを用いて音声特徴を抽出し,変換器モデルを用いて時間的シーケンスを処理する。
2つの公開オーディオ・メシュ・データセットに対する実験により,本手法が最先端技術より優れていることを示す。
論文 参考訳(メタデータ) (2025-05-03T21:49:23Z) - FRESA: Feedforward Reconstruction of Personalized Skinned Avatars from Few Images [74.86864398919467]
数枚の画像からリアルなアニメーションで、パーソナライズされた3Dアバターを再構成する新しい手法を提案する。
我々は、1000人以上の服を着た人間から普遍的な事前学習を行い、即時フィードフォワード生成とゼロショット一般化を実現する。
提案手法は, 最新技術よりも忠実な再構築とアニメーションを生成し, カジュアルに撮影された携帯電話写真からの入力に直接一般化することができる。
論文 参考訳(メタデータ) (2025-03-24T23:20:47Z) - GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。
私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。
通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
論文 参考訳(メタデータ) (2024-02-26T14:40:15Z) - LiP-Flow: Learning Inference-time Priors for Codec Avatars via
Normalizing Flows in Latent Space [90.74976459491303]
実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。
正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。
提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
論文 参考訳(メタデータ) (2022-03-15T13:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。