論文の概要: Generative Head-Mounted Camera Captures for Photorealistic Avatars

• arxiv url: http://arxiv.org/abs/2507.05620v1
• Date: Tue, 08 Jul 2025 03:00:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.537294
• Title: Generative Head-Mounted Camera Captures for Photorealistic Avatars
• Title（参考訳）: フォトリアリスティックアバター用ヘッドマウントカメラ
• Authors: Shaojie Bai, Seunghyeon Seo, Yida Wang, Chenghui Li, Owen Wang, Te-Li Wang, Tianyang Ma, Jason Saragih, Shih-En Wei, Nojun Kwak, Hyung Jun Kim,
• Abstract要約: 本稿では, 高品質な合成HMC画像を生成するための新しい生成手法, Generative HMC (GenHMC)を提案する。 提案手法は,顔の表情と視点を指定する入力条件信号を適切に切り離すことができることを示す。 合成HMC画像と、これらの新しいHMC-avatar対応から訓練されたユニバーサルフェイスエンコーダの両方を用いて、これらのブレークスルーを実証する。
• 参考スコア（独自算出の注目度）: 36.545643029119404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enabling photorealistic avatar animations in virtual and augmented reality (VR/AR) has been challenging because of the difficulty of obtaining ground truth state of faces. It is physically impossible to obtain synchronized images from head-mounted cameras (HMC) sensing input, which has partial observations in infrared (IR), and an array of outside-in dome cameras, which have full observations that match avatars' appearance. Prior works relying on analysis-by-synthesis methods could generate accurate ground truth, but suffer from imperfect disentanglement between expression and style in their personalized training. The reliance of extensive paired captures (HMC and dome) for the same subject makes it operationally expensive to collect large-scale datasets, which cannot be reused for different HMC viewpoints and lighting. In this work, we propose a novel generative approach, Generative HMC (GenHMC), that leverages large unpaired HMC captures, which are much easier to collect, to directly generate high-quality synthetic HMC images given any conditioning avatar state from dome captures. We show that our method is able to properly disentangle the input conditioning signal that specifies facial expression and viewpoint, from facial appearance, leading to more accurate ground truth. Furthermore, our method can generalize to unseen identities, removing the reliance on the paired captures. We demonstrate these breakthroughs by both evaluating synthetic HMC images and universal face encoders trained from these new HMC-avatar correspondences, which achieve better data efficiency and state-of-the-art accuracy.
• Abstract（参考訳）: 仮想及び拡張現実(VR/AR)におけるフォトリアリスティックなアバターアニメーションの実現は、顔の真理状態を得るのが困難であるため、困難である。 赤外線で部分的な観察を行うヘッドマウントカメラ(HMC)と、アバターの外観にマッチする完全な観察を行う外付けドームカメラのアレイから同期画像を得るのは物理的には不可能である。 従来の研究は、分析による合成法に依存していたが、パーソナライズされたトレーニングにおいて、表現とスタイルの完全な絡み合いに悩まされていた。 同じ主題に対する広汎なペアドキャプチャ(HMCとドーム)の信頼性は、さまざまなHMC視点や照明で再利用できない大規模なデータセットの収集に運用コストをかかる。 本研究では, ドームキャプチャからアバター状態の条件下で, 高精度な合成HMC画像を直接生成するために, より容易に収集可能な大型不対流HMCキャプチャを利用する新しい生成法であるGenerative HMC(GenHMC)を提案する。 本手法は,顔の表情や視点を識別する入力条件信号と,顔の外観から適切に切り離すことができ,より正確な接地真実を導出できることを示す。 さらに,本手法は,ペアのキャプチャによる依存を排除し,未確認のIDに一般化することができる。 合成HMC画像と、これらの新しいHMC-avatar対応から訓練されたユニバーサルフェイスエンコーダの両方を用いて、より優れたデータ効率と最先端の精度を実現することにより、これらのブレークスルーを実証する。

関連論文リスト

• Synthetic Prior for Few-Shot Drivable Head Avatar Inversion [61.51887011274453]
  そこで本研究では,合成前駆体に基づく乾燥可能な頭部アバターの少数ショット逆転法であるSynShotを提案する。 合成データのみに基づいて訓練された機械学習モデルに着想を得て,合成頭部の大きなデータセットから先行モデルを学習する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T19:01:05Z)
• Toward Human Understanding with Controllable Synthesis [3.6579002555961915]
  頑健な3次元人間のポーズと形状推定を行うための訓練方法は、正確な基底真理を持つ多様な訓練画像を必要とする。 BEDLAMはそのようなデータを生成する従来の手続き型グラフィックスの可能性を示しているが、トレーニング画像は明らかに合成されている。 対照的に、生成的画像モデルは非常に現実的な画像を生成するが、真実は得られない。
  論文  参考訳（メタデータ） (2024-11-13T14:54:47Z)
• URAvatar: Universal Relightable Gaussian Codec Avatars [42.25313535192927]
  我々は,未知の照明を持つ携帯電話スキャンから,フォトリアリスティックで光沢のある頭部アバターを作成するための新しいアプローチを提案する。 再建されたアバターは、様々な環境の世界的な照明でリアルタイムでアニメーションし、信頼することができる。
  論文  参考訳（メタデータ） (2024-10-31T17:59:56Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
  コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。 本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-07-17T22:08:15Z)
• Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
  光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。 本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-20T09:28:16Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。