論文の概要: Relightable Gaussian Codec Avatars
- arxiv url: http://arxiv.org/abs/2312.03704v2
- Date: Tue, 28 May 2024 02:09:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 04:07:24.368067
- Title: Relightable Gaussian Codec Avatars
- Title（参考訳）: 楽しいガウスのコーデックアバター
- Authors: Shunsuke Saito, Gabriel Schwartz, Tomas Simon, Junxuan Li, Giljoo Nam,
- Abstract要約: Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。
3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。
我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
- 参考スコア（独自算出の注目度）: 26.255161061306428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.
- Abstract（参考訳）: リライティングの忠実さは、幾何学的表現と外見的表現の両方によって境界づけられている。
幾何学において、メッシュと体積のアプローチは3次元ヘア幾何学のような複雑な構造をモデル化することが困難である。
外観上、既存のリライトモデルは忠実度に制限されており、高解像度の連続環境でリアルタイムにレンダリングするには遅すぎることが多い。
本研究では,新しい表現を生成するためにアニメーション可能な高忠実なヘッドアバターを構築する手法であるRelightable Gaussian Codec Avatarsを提案する。
3次元ガウシアンに基づく幾何学モデルは、動的顔列上のヘアストランドや細孔などの3次元一貫性のあるサブミリ細部を捉えることができる。
目,皮膚,毛髪などの頭部の多様な材料を統一的に支援するために,学習可能な放射率伝達に基づく新しい可照性外見モデルを提案する。
拡散成分に対するグローバル照明対応球面高調波とともに、球面ガウスを用いた全周波数反射によるリアルタイムリライティングを実現する。
この外観モデルは点灯と連続照明の両方で効率よく信頼することができる。
我々は、視線反射の忠実度をさらに向上し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
提案手法は,リアルタイム性能を損なうことなく既存の手法より優れている。
また、テザリングされた消費者向けVRヘッドセット上でアバターをリアルタイムにリライトし、アバターの効率性と忠実さを示します。
関連論文リスト
- 3D Gaussian Parametric Head Model [40.62136721707944]
本稿では,人間の頭部の複雑さを正確に表現するために3次元ガウス的パラメトリックヘッドモデルを提案する。
シームレスな顔のポートレートと、単一の画像から詳細な頭部アバターの再構築を可能にする。
提案手法は,高画質でリアルタイムな実写レンダリングを実現し,パラメトリックヘッドモデルの分野に有意義な貢献をする。
論文 参考訳（メタデータ） (2024-07-21T06:03:11Z) - Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。
提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
論文 参考訳（メタデータ） (2024-07-15T13:25:07Z) - Gaussian Head & Shoulders: High Fidelity Neural Upper Body Avatars with Anchor Gaussian Guided Texture Warping [12.308192525760667]
既存のメソッドは、ボディなしでヘッドを再構築するだけで、アプリケーションのシナリオが大幅に制限される。
本稿では,粗い色とポーズ依存の微細な色からなる神経テクスチャを用いて,身体の部位をモデル化することを提案する。
ガウシアンヘッド&ショルダーは, 衣服上半身の高周波細部を高い忠実度で適合させ, 頭部領域の精度と忠実度を向上できる可能性が示唆された。
論文 参考訳（メタデータ） (2024-05-20T14:39:49Z) - PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting [17.78639236586134]
PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。
詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。
PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
論文 参考訳（メタデータ） (2024-01-23T16:40:47Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳（メタデータ） (2023-12-04T18:55:45Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。
1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。
本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
論文 参考訳（メタデータ） (2023-09-08T10:26:29Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z) - 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。
このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
論文 参考訳（メタデータ） (2022-09-15T15:28:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。