論文の概要: EgoRelight: Egocentric Human Capture and Illumination Recovery for Relightable and Photoreal Avatar Rendering

• arxiv url: http://arxiv.org/abs/2605.28401v1
• Date: Wed, 27 May 2026 12:38:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.049131
• Title: EgoRelight: Egocentric Human Capture and Illumination Recovery for Relightable and Photoreal Avatar Rendering
• Title（参考訳）: EgoRelight:Egocentric Human Capture and Illumination Recovery for Relightable and Photoreal Avatar Rendering
• Authors: Jianchun Chen, Yinda Zhang, Rohit Pandey, Thabo Beeler, Marc Habermann, Christian Theobalt,
• Abstract要約: EgoRelightは、エゴセントリックなテレプレゼンスのための総合的なフレームワークである。 同時に全身の人間のパフォーマンスを捉え、幾何学と楽しい外観を合成する。 遠隔のユーザが物理的環境に応じて一貫した信頼を得られるソーシャルテレプレゼンスアプリケーションを通じて,我々のシステムを実証する。
• 参考スコア（独自算出の注目度）: 63.753771328356834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixed Reality (MR) headsets promise a future of immersive telepresence where virtual humans blend indistinguishably into real or virtual surroundings. Achieving this vision requires a method for capturing a user's motion, estimating appearance under novel lighting, and understanding the environment - all from the constrained viewpoint of a head-mounted display (HMD). Existing approaches treat these as isolated problems: they either focus on driving avatars with baked-in lighting or rely on studio setups for relighting. In this paper, we present EgoRelight, a holistic framework for egocentric telepresence that simultaneously captures full-body human performance, synthesizes photorealistic and relightable appearance, and estimates high dynamic range (HDR) environment maps from a single HMD. First, to ensure motion and surface reconstruction, we propose an egocentric perception module that leverages stereo down-facing cameras to extract dense depth maps, which serve as geometric control signals to drive a mesh-based avatar. Second, we introduce a novel neural appearance model that learns to synthesize view-dependent specular and view-independent diffuse shading separately. By employing a specialized ray-sampling strategy, our model generalizes to unseen illumination without relying on restrictive analytical BRDF priors. Third, we enable seamless avatar integration into the physical world via a test-time inverse rendering process, which recovers an HDR environment map by matching the pre-trained avatar's appearance to live egocentric camera observations. We demonstrate our system through a social telepresence application, where remote users are coherently relit according to their physical environment. Extensive experiments show that our components and the integrated system significantly outperform state-of-the-art baselines in geometric accuracy and rendering as well as relighting fidelity.
• Abstract（参考訳）: Mixed Reality(MR)ヘッドセットは没入型テレプレゼンスの未来を約束する。 このビジョンを達成するには、ユーザの動きを捉え、新しい照明の下での外観を推定し、ヘッドマウントディスプレイ(HMD)の制約された視点から環境を理解する方法が必要です。 既存のアプローチでは、これらを独立した問題として扱います。 本稿では,エゴセントリックなテレプレゼンスのための総合的なフレームワークであるEgoRelightを紹介し,フルボディの人間のパフォーマンスを同時に捉え,フォトリアリスティックな外観を合成し,単一のHMDから高ダイナミックレンジ(HDR)環境マップを推定する。 まず,移動と表面の再構成を確実にするために,立体下面カメラを利用して深度マップを抽出し,メッシュベースのアバターを駆動する幾何学的制御信号として機能するエゴセントリック認識モジュールを提案する。 第二に、ビュー依存のスペキュラとビュー非依存の拡散シェーディングを別々に合成することを学ぶ新しいニューラルな外観モデルを導入する。 特殊な光サンプリング戦略を用いることで,制約のある解析的BRDF先入観に頼らずに照明を見えないように一般化する。 第三に、テスト時間逆レンダリングプロセスにより、実世界へのシームレスなアバター統合を可能にし、事前訓練されたアバターの外観とライブのエゴセントリックカメラ観察とを一致させて、HDR環境マップを復元する。 遠隔のユーザが物理的環境に応じて一貫した信頼を得られるソーシャルテレプレゼンスアプリケーションを通じて,我々のシステムを実証する。 総合的な実験により、我々のコンポーネントと統合システムは、幾何的精度とレンダリングにおいて最先端のベースラインを著しく上回り、忠実さをリライトする。

関連論文リスト

• REFA: Real-time Egocentric Facial Animations for Virtual Reality [56.82169742343143]
  バーチャルリアリティー(VR)ヘッドセットに埋め込まれた赤外線カメラのセットから得られたエゴセントリックなビューを用いて,表情をリアルタイムに追跡するシステムを提案する。 我々の技術は、仮想キャラクタの表情を非侵襲的に正確に駆動するのに役立つ。
  論文  参考訳（メタデータ） (2026-01-07T01:41:46Z)
• BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading [3.447848701446988]
  本研究では,インタラクティブなレートで新たな視点から表現可能な,光沢のある高解像度ヘッドアバターの再構成手法であるBecomingLitを紹介する。 様々な照明条件下で多数の被験者の多視点配列からなる新しいデータセットを収集する。 本稿では,ニューラル拡散BRDFと解析的特異項を組み合わせたハイブリッド型ニューラルシェーディング手法を提案する。
  論文  参考訳（メタデータ） (2025-06-06T17:53:58Z)
• LightHeadEd: Relightable & Editable Head Avatars from a Smartphone [30.268643915885413]
  本稿では,ポラロイドフィルタを搭載したスマートフォンのみで高品質なヘッドアバターを製作するための,新しい費用対効果のアプローチを提案する。 我々のアプローチは、単一点光源を持つ暗い部屋で、クロスポーラライズとパラレルポーラライズされたビデオストリームを同時にキャプチャすることである。 パラメトリックヘッドモデルのUV空間に2次元ガウスアンを埋め込んだハイブリッド表現を導入する。
  論文  参考訳（メタデータ） (2025-04-13T17:51:56Z)
• URAvatar: Universal Relightable Gaussian Codec Avatars [42.25313535192927]
  我々は,未知の照明を持つ携帯電話スキャンから,フォトリアリスティックで光沢のある頭部アバターを作成するための新しいアプローチを提案する。 再建されたアバターは、様々な環境の世界的な照明でリアルタイムでアニメーションし、信頼することができる。
  論文  参考訳（メタデータ） (2024-10-31T17:59:56Z)
• EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
  本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。 提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
  論文  参考訳（メタデータ） (2024-09-22T22:50:27Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• EgoRenderer: Rendering Human Avatars from Egocentric Camera Images [87.96474006263692]
  EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。 このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。 レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-24T18:33:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。