論文の概要: LightHeadEd: Relightable & Editable Head Avatars from a Smartphone
- arxiv url: http://arxiv.org/abs/2504.09671v1
- Date: Sun, 13 Apr 2025 17:51:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:51:54.143772
- Title: LightHeadEd: Relightable & Editable Head Avatars from a Smartphone
- Title（参考訳）: LightHeadEd:スマートフォンから、快適で編集可能なヘッドアバター
- Authors: Pranav Manu, Astitva Srivastava, Amit Raj, Varun Jampani, Avinash Sharma, P. J. Narayanan,
- Abstract要約: 本稿では,ポラロイドフィルタを搭載したスマートフォンのみで高品質なヘッドアバターを製作するための,新しい費用対効果のアプローチを提案する。
我々のアプローチは、単一点光源を持つ暗い部屋で、クロスポーラライズとパラレルポーラライズされたビデオストリームを同時にキャプチャすることである。
パラメトリックヘッドモデルのUV空間に2次元ガウスアンを埋め込んだハイブリッド表現を導入する。
- 参考スコア（独自算出の注目度）: 30.268643915885413
- License:
- Abstract: Creating photorealistic, animatable, and relightable 3D head avatars traditionally requires expensive Lightstage with multiple calibrated cameras, making it inaccessible for widespread adoption. To bridge this gap, we present a novel, cost-effective approach for creating high-quality relightable head avatars using only a smartphone equipped with polaroid filters. Our approach involves simultaneously capturing cross-polarized and parallel-polarized video streams in a dark room with a single point-light source, separating the skin's diffuse and specular components during dynamic facial performances. We introduce a hybrid representation that embeds 2D Gaussians in the UV space of a parametric head model, facilitating efficient real-time rendering while preserving high-fidelity geometric details. Our learning-based neural analysis-by-synthesis pipeline decouples pose and expression-dependent geometrical offsets from appearance, decomposing the surface into albedo, normal, and specular UV texture maps, along with the environment maps. We collect a unique dataset of various subjects performing diverse facial expressions and head movements.
- Abstract（参考訳）: フォトリアリスティックでアニマタブルな3Dヘッドアバターを作るには、複数のキャリブレーションカメラを備えた高価なLightstageが必要で、広く普及するには利用できない。
このギャップを埋めるために,ポラロイドフィルタを搭載したスマートフォンのみを用いて高品質なヘッドアバターを製作するための,コスト効率のよい新しいアプローチを提案する。
我々のアプローチは、単一の点光源を持つ暗い部屋で、クロスポーラライズとパラレルポーラライズされたビデオストリームを同時にキャプチャし、動的顔のパフォーマンス中に皮膚の拡散成分と特異成分を分離することである。
パラメトリックヘッドモデルのUV空間に2次元ガウスアンを埋め込んだハイブリッド表現を導入する。
我々の学習に基づくニューラルネットワークによる合成パイプラインの分離は、表面をアルベド、正常、および特異なUVテクスチャマップに分解し、環境マップとともに、外観から表現に依存した幾何学的オフセットを合成する。
多様な表情と頭部運動を行う様々な被験者のユニークなデータセットを収集する。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。
提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
論文 参考訳（メタデータ） (2024-07-15T13:25:07Z) - Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
論文 参考訳（メタデータ） (2023-12-18T14:30:13Z) - Relightable Gaussian Codec Avatars [26.255161061306428]
Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。
3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。
我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
論文 参考訳（メタデータ） (2023-12-06T18:59:58Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z) - PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。
提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
論文 参考訳（メタデータ） (2022-12-16T10:05:31Z) - High-Res Facial Appearance Capture from Polarized Smartphone Images [11.885559856133339]
単一スマートフォンを用いたRGB画像から高品質な顔のテクスチャ再構築手法を提案する。
修正されたスマートフォンを用いて,光偏光の異なる暗黒環境での2つの短いシーケンスをフラッシュ照明下で記録する。
次に、カメラと光のコロケーションを利用して、分析バイシンセシスアプローチを用いて顔のテクスチャを最適化する。
論文 参考訳（メタデータ） (2022-12-02T13:34:56Z) - Relightable 3D Head Portraits from a Smartphone Video [15.639140551193073]
本稿では,人間の頭部の3D像を再現するシステムを提案する。
私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅で撮影したフレームのシーケンスで動作します。
ディープレンダリングネットワークは、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを後退させるように訓練される。
論文 参考訳（メタデータ） (2020-12-17T22:49:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。