論文の概要: URAvatar: Universal Relightable Gaussian Codec Avatars

• arxiv url: http://arxiv.org/abs/2410.24223v1
• Date: Thu, 31 Oct 2024 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:00:35.735605
• Title: URAvatar: Universal Relightable Gaussian Codec Avatars
• Title（参考訳）: URAvatar:Universal Relightable Gaussian Codec Avatars
• Authors: Junxuan Li, Chen Cao, Gabriel Schwartz, Rawal Khirodkar, Christian Richardt, Tomas Simon, Yaser Sheikh, Shunsuke Saito,
• Abstract要約: 我々は,未知の照明を持つ携帯電話スキャンから,フォトリアリスティックで光沢のある頭部アバターを作成するための新しいアプローチを提案する。 再建されたアバターは、様々な環境の世界的な照明でリアルタイムでアニメーションし、信頼することができる。
• 参考スコア（独自算出の注目度）: 42.25313535192927
• License:
• Abstract: We present a new approach to creating photorealistic and relightable head avatars from a phone scan with unknown illumination. The reconstructed avatars can be animated and relit in real time with the global illumination of diverse environments. Unlike existing approaches that estimate parametric reflectance parameters via inverse rendering, our approach directly models learnable radiance transfer that incorporates global light transport in an efficient manner for real-time rendering. However, learning such a complex light transport that can generalize across identities is non-trivial. A phone scan in a single environment lacks sufficient information to infer how the head would appear in general environments. To address this, we build a universal relightable avatar model represented by 3D Gaussians. We train on hundreds of high-quality multi-view human scans with controllable point lights. High-resolution geometric guidance further enhances the reconstruction accuracy and generalization. Once trained, we finetune the pretrained model on a phone scan using inverse rendering to obtain a personalized relightable avatar. Our experiments establish the efficacy of our design, outperforming existing approaches while retaining real-time rendering capability.
• Abstract（参考訳）: 我々は,未知の照明を持つ携帯電話スキャンから,フォトリアリスティックで光沢のある頭部アバターを作成するための新しいアプローチを提案する。 再建されたアバターは、様々な環境の世界的な照明でリアルタイムでアニメーションし、信頼することができる。 逆レンダリングによるパラメトリック反射率パラメータを推定する既存のアプローチとは異なり、我々のアプローチは、グローバル光輸送をリアルタイムレンダリングに効率的に組み込んだ学習可能な放射率伝達を直接モデル化する。 しかし、アイデンティティをまたいで一般化できるような複雑な光輸送を学ぶことは簡単ではない。 単一の環境での電話スキャンでは、一般的な環境でどのように頭が現れるかを推測する十分な情報が不足している。 これを解決するために、3次元ガウスで表される普遍的な照準可能なアバターモデルを構築した。 私たちは、制御可能な点灯を備えた数百の高品質なマルチビューヒューマンスキャンをトレーニングします。 高分解能な幾何学的ガイダンスにより、再構築精度と一般化がさらに向上する。 トレーニングが完了すると、逆レンダリングを用いて携帯スキャンで事前訓練されたモデルを微調整し、パーソナライズ可能なアバターを得る。 実時間レンダリング能力を維持しつつ,既存手法より優れている設計の有効性を確立した。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video [41.677560631206184]
  本稿では,Surfel-based Gaussian Inverse Avatar (SGIA)法を提案する。 SGIAは従来のガウスアバター法を進歩させ、人間のアバターの物理的レンダリング(PBR)特性を包括的にモデル化した。 提案手法は,既存の暗黙的手法を超越した高速光計算のために,事前積分と画像ベース照明を統合する。
  論文  参考訳（メタデータ） (2024-07-21T16:34:03Z)
• NECA: Neural Customizable Human Avatar [36.69012172745299]
  モノクラービデオやスパースビュービデオから多目的な人間の表現を学習する手法であるNECAを紹介する。 我々のアプローチの中核は、補完的な双対空間で人間を表現し、幾何学、アルベド、シャドー、および外部照明の非絡み合った神経場を予測することである。
  論文  参考訳（メタデータ） (2024-03-15T14:23:06Z)
• URHand: Universal Relightable Hands [64.25893653236912]
  URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。 本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
  論文  参考訳（メタデータ） (2024-01-10T18:59:51Z)
• Relightable Gaussian Codec Avatars [26.255161061306428]
  Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。 3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。 我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
  論文  参考訳（メタデータ） (2023-12-06T18:59:58Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
  TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。 1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。 本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-09-08T10:26:29Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。