論文の概要: AudioLift: Audio-Driven Single Image to Full-Head Gaussian Avatar via Multi-view Video Generation
- arxiv url: http://arxiv.org/abs/2610.31747v1
- Date: Thu, 22 Oct 2026 17:59:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.257201
- Title: AudioLift: Audio-Driven Single Image to Full-Head Gaussian Avatar via Multi-view Video Generation
- Title（参考訳）: AudioLift:マルチビュービデオ生成によるフルヘッドガウスアバターへのオーディオ駆動シングルイメージ
- Abstract要約: 既存の3Dトーキングアバター法は主に3DMMやFLAMEなどのパラメトリック顔モデルに依存している。
本稿では,オーディオ駆動アバター生成の中間表現として生成したマルチビュービデオを利用する2段階フレームワークであるAudioLiftを紹介する。
このフレームワークは、同期した多視点ビデオ生成ステージと不整合ローバストなガウス再構成ステージを組み合わせて、1枚のポートレート画像からコヒーレントなフルヘッド幾何を復元する。
- 参考スコア（独自算出の注目度）: 34.63466919888384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing 3D talking avatar methods mainly rely on parametric face models including 3DMM or FLAME, whose compact motion representations limit their ability to synthesize extreme expressions and to model accessories such as headwear. We introduce AudioLift, a two-stage framework that uses generated multi-view videos as the intermediate representation for audio-driven avatar generation without parametric face models or per-instance optimization. Our framework combines a synchronized multi-view video generation stage with an inconsistency-robust Gaussian reconstruction stage to recover coherent full-head geometry from a single portrait image. Extensive experiments demonstrate that AudioLift produces 3D talking avatars capable of capturing more extreme facial expressions than existing methods, with improved geometric completeness and strong multi-view consistency across the full $360^\circ$ viewing range.
- Abstract（参考訳）: 既存の3Dトーキングアバター法は主に3DMMやFLAMEなどのパラメトリック顔モデルに依存しており、そのコンパクトな動き表現は極端な表現を合成し、ヘッドウェアのようなアクセサリーをモデル化する能力を制限する。
パラメトリック顔モデルやインスタンスごとの最適化を伴わないオーディオ駆動アバター生成の中間表現として,生成したマルチビュービデオを利用する2段階フレームワークであるAudioLiftを紹介する。
このフレームワークは、同期した多視点ビデオ生成ステージと不整合ローバストなガウス再構成ステージを組み合わせて、1枚のポートレート画像からコヒーレントなフルヘッド幾何を復元する。
広汎な実験により、AudioLiftは既存の手法よりも極端な表情をキャプチャできる3Dトーキングアバターを生産し、幾何学的完全性の向上と360^\circ$の視聴範囲における強いマルチビュー一貫性を実現した。
関連論文リスト
- Geometrically Consistent Multi-View Scene Generation from Freehand Sketches [58.98194920417429]
フリーハンドスケッチは、マルチビュージェネレータを提供することができる最も幾何学的に不十分な入力である。
学習データの欠如、歪んだ2次元入力からの幾何学的推論の必要性、ビュー間の整合性という3つの複合的な課題に対処する。
本フレームワークは,参照画像,反復的精細化,シーンごとの最適化を必要とせず,単一のデノナイジングプロセスですべてのビューを合成する。
論文 参考訳（メタデータ） (2026-04-15T18:00:45Z) - Audio-Driven Universal Gaussian Head Avatars [66.56656075831954]
本稿では,音声駆動型ユニバーサルフォトリアリスティックアバター合成法について紹介する。
個人に依存しない音声モデルと私たちの小説Universal Head Avatar Priorを組み合わせたものです。
我々の手法は、外観の詳細なモデリングとレンダリングを考慮に入れた最初の一般的なオーディオ駆動アバターモデルである。
論文 参考訳（メタデータ） (2025-09-23T12:46:43Z) - FaceLift: Learning Generalizable Single Image 3D Face Reconstruction from Synthetic Heads [54.24070918942727]
1枚の画像から高画質の360度3Dヘッドを復元するための新しいフィードフォワードアプローチであるFaceLiftを提案する。
パイプラインはまずマルチビューの潜伏拡散モデルを用いて、1つの入力から一貫したサイドビューとバックビューを生成する。
FaceLiftは、アイデンティティ保存、ディテールリカバリ、レンダリング品質において、最先端の3D顔再構成方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-12-23T18:59:49Z) - Flex3D: Feed-Forward 3D Generation with Flexible Reconstruction Model and Input View Curation [61.040832373015014]
テキスト, 単一画像, スパース画像から高品質な3Dコンテンツを生成するための新しいフレームワークFlex3Dを提案する。
我々は、微調整された多視点画像拡散モデルとビデオ拡散モデルを用いて、候補視のプールを生成し、ターゲット3Dオブジェクトのリッチな表現を可能にする。
第2段階では、キュレートされたビューは、任意の数の入力を効果的に処理できるトランスフォーマーアーキテクチャ上に構築されたフレキシブルリコンストラクションモデル(FlexRM)に入力されます。
論文 参考訳（メタデータ） (2024-10-01T17:29:43Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-14T22:33:09Z) - From 2D Images to 3D Model:Weakly Supervised Multi-View Face Reconstruction with Deep Fusion [25.068822438649928]
我々は,多視点画像間の特徴対応を探索し,高精度な3次元顔の再構成を行う,Deep Fusion MVRと呼ばれる新しいパイプラインを提案する。
具体的には、マスクを用いて複数のエンコーダの特徴を整列させる、新しいマルチビュー機能融合バックボーンを提案する。
マルチビュー機能融合と顔再構成を容易にする1つの簡潔なマスク機構を開発した。
論文 参考訳（メタデータ） (2022-04-08T05:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。