論文の概要: Synthetic Prior for Few-Shot Drivable Head Avatar Inversion
- arxiv url: http://arxiv.org/abs/2501.06903v2
- Date: Thu, 20 Mar 2025 10:18:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 15:30:51.933671
- Title: Synthetic Prior for Few-Shot Drivable Head Avatar Inversion
- Title（参考訳）: Few-Shot Drivable Head Avatar インバージョンのための合成前駆体
- Authors: Wojciech Zielonka, Stephan J. Garbin, Alexandros Lattas, George Kopanas, Paulo Gotardo, Thabo Beeler, Justus Thies, Timo Bolkart,
- Abstract要約: そこで本研究では,合成前駆体に基づく乾燥可能な頭部アバターの少数ショット逆転法であるSynShotを提案する。
合成データのみに基づいて訓練された機械学習モデルに着想を得て,合成頭部の大きなデータセットから先行モデルを学習する手法を提案する。
- 参考スコア（独自算出の注目度）: 61.51887011274453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present SynShot, a novel method for the few-shot inversion of a drivable head avatar based on a synthetic prior. We tackle three major challenges. First, training a controllable 3D generative network requires a large number of diverse sequences, for which pairs of images and high-quality tracked meshes are not always available. Second, the use of real data is strictly regulated (e.g., under the General Data Protection Regulation, which mandates frequent deletion of models and data to accommodate a situation when a participant's consent is withdrawn). Synthetic data, free from these constraints, is an appealing alternative. Third, state-of-the-art monocular avatar models struggle to generalize to new views and expressions, lacking a strong prior and often overfitting to a specific viewpoint distribution. Inspired by machine learning models trained solely on synthetic data, we propose a method that learns a prior model from a large dataset of synthetic heads with diverse identities, expressions, and viewpoints. With few input images, SynShot fine-tunes the pretrained synthetic prior to bridge the domain gap, modeling a photorealistic head avatar that generalizes to novel expressions and viewpoints. We model the head avatar using 3D Gaussian splatting and a convolutional encoder-decoder that outputs Gaussian parameters in UV texture space. To account for the different modeling complexities over parts of the head (e.g., skin vs hair), we embed the prior with explicit control for upsampling the number of per-part primitives. Compared to SOTA monocular and GAN-based methods, SynShot significantly improves novel view and expression synthesis.
- Abstract（参考訳）: そこで本研究では,合成前駆体に基づく乾燥可能な頭部アバターの少数ショット逆転法であるSynShotを提案する。
私たちは3つの大きな課題に取り組みます。
まず、制御可能な3D生成ネットワークをトレーニングするには、多数の多様なシーケンスが必要である。
第2に、実際のデータの使用は厳格に規制されている(例えば、一般データ保護規則(General Data Protection Regulation)では、参加者の同意を取り下げた状況に対応するために、頻繁にモデルやデータの削除を義務付けている)。
これらの制約から解放された合成データは、魅力的な代替手段だ。
第三に、最先端のモノクラーアバターモデルは、新しいビューと表現に一般化するのに苦労し、強い事前性がなく、しばしば特定の視点分布に過度に適合する。
合成データのみに基づいて訓練された機械学習モデルに着想を得て,多様なアイデンティティ,表現,視点を持つ合成頭部の大規模データセットから事前モデルを学習する手法を提案する。
入力画像が少ないため、SynShotはドメインギャップを埋める前に事前訓練された合成を微調整し、新しい表現や視点に一般化するフォトリアリスティックなヘッドアバターをモデル化する。
我々は3次元ガウススプラッティングとUVテクスチャ空間におけるガウスパラメータを出力する畳み込みエンコーダデコーダを用いて頭部アバターをモデル化する。
頭部部分(例えば皮膚と毛髪)のモデリングの複雑さを考慮に入れるため、各部分のプリミティブ数をアップサンプリングするための明示的な制御を前者に組み込む。
SOTA単分子法やGAN法と比較して、SynShotは新規なビューと発現合成を大幅に改善する。
関連論文リスト
- Controlling Avatar Diffusion with Learnable Gaussian Embedding [27.651478116386354]
我々は、最適化可能で、密度が高く、表現可能で、3次元一貫した新しい制御信号表現を導入する。
複数のポーズとアイデンティティを持つ大規模データセットを合成する。
我々のモデルは、現実主義、表現性、および3次元整合性の観点から、既存の手法よりも優れています。
論文 参考訳（メタデータ） (2025-03-20T02:52:01Z) - GAS: Generative Avatar Synthesis from a Single Image [54.95198111659466]
一つの画像からビュー一貫性と時間的コヒーレントなアバターを合成するための、一般化可能で統一されたフレームワークを導入する。
提案手法は, 回帰に基づく3次元再構成と拡散モデルの生成能力を組み合わせることで, このギャップを埋めるものである。
論文 参考訳（メタデータ） (2025-02-10T19:00:39Z) - Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。
具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。
我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
論文 参考訳（メタデータ） (2024-12-19T03:39:13Z) - Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。
我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。
次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
論文 参考訳（メタデータ） (2024-10-01T12:24:50Z) - 3D-free meets 3D priors: Novel View Synthesis from a Single Image with Pretrained Diffusion Guidance [61.06034736050515]
単一入力画像からカメラ制御された視点を生成する方法を提案する。
本手法は,広範囲なトレーニングや3Dおよびマルチビューデータなしで,複雑で多様なシーンを処理できることに優れる。
論文 参考訳（メタデータ） (2024-08-12T13:53:40Z) - GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。
近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。
本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
論文 参考訳（メタデータ） (2024-07-21T06:03:11Z) - HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。
本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。
実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
論文 参考訳（メタデータ） (2024-05-18T11:49:09Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳（メタデータ） (2023-12-22T20:56:46Z) - BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis [7.485318043174123]
リアルタイム神経頭アバターの新しい表現であるBakedAvatarを紹介した。
提案手法は,学習した頭部の異面から層状メッシュを抽出し,表現,ポーズ,ビューに依存した外観を計算する。
実験により,本表現は,他の最先端手法と同等品質の光実写結果を生成することを示した。
論文 参考訳（メタデータ） (2023-11-09T17:05:53Z) - HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural
Radiance Field [44.848368616444446]
我々は,NeRFの表現性とパラメトリックテンプレートからの事前情報を統合する,新しいハイブリッド・明示的3次元表現,顔モデル条件付きニューラルラジアンス場を導入する。
画像から画像への変換ネットワークを用いた全体的なGANアーキテクチャを採用することにより,動的頭部外観の高分解能,現実的,かつ一貫した合成を実現する。
論文 参考訳（メタデータ） (2023-09-29T10:45:22Z) - 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。
このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
論文 参考訳（メタデータ） (2022-09-15T15:28:45Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳（メタデータ） (2022-08-03T16:46:08Z) - Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。
合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。
実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
論文 参考訳（メタデータ） (2022-03-20T13:06:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。