論文の概要: Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views
- arxiv url: http://arxiv.org/abs/2512.00255v1
- Date: Sat, 29 Nov 2025 00:17:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.135929
- Title: Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views
- Title（参考訳）: 快適なホロポートキャラクタ:スパースビューからのダイナミックヒューマンパフォーマンスのキャプチャとリライト
- Authors: Kunwar Maheep Singh, Jianchun Chen, Vladislav Golyanik, Stephan J. Garbin, Thabo Beeler, Rishabh Dabral, Marc Habermann, Christian Theobalt,
- Abstract要約: 我々は、フルボディで高ダイナミックな人間の自由視点レンダリングとリライティングのための個人固有の方法であるRelightable Holoported Characters (RHC)を提案する。
我々のトランスフォーマーベースのRelightNetは、1つのネットワークパス内での出現を予測し、コストのかかるOLATベースのキャプチャと生成を回避する。
提案手法の視覚的忠実度と照明再現性について,最先端の手法と比較して実験を行った。
- 参考スコア（独自算出の注目度）: 82.15089065452081
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Relightable Holoported Characters (RHC), a novel person-specific method for free-view rendering and relighting of full-body and highly dynamic humans solely observed from sparse-view RGB videos at inference. In contrast to classical one-light-at-a-time (OLAT)-based human relighting, our transformer-based RelightNet predicts relit appearance within a single network pass, avoiding costly OLAT-basis capture and generation. For training such a model, we introduce a new capture strategy and dataset recorded in a multi-view lightstage, where we alternate frames lit by random environment maps with uniformly lit tracking frames, simultaneously enabling accurate motion tracking and diverse illumination as well as dynamics coverage. Inspired by the rendering equation, we derive physics-informed features that encode geometry, albedo, shading, and the virtual camera view from a coarse human mesh proxy and the input views. Our RelightNet then takes these features as input and cross-attends them with a novel lighting condition, and regresses the relit appearance in the form of texel-aligned 3D Gaussian splats attached to the coarse mesh proxy. Consequently, our RelightNet implicitly learns to efficiently compute the rendering equation for novel lighting conditions within a single feed-forward pass. Experiments demonstrate our method's superior visual fidelity and lighting reproduction compared to state-of-the-art approaches. Project page: https://vcai.mpi-inf.mpg.de/projects/RHC/
- Abstract（参考訳）: 提案するRelightable Holoported Characters(RHC)は,スパークビューRGBビデオからのみ観察されるフルボディおよび高ダイナミックな人間のフリービューレンダリングとリライティングのための,個人固有の新しい手法である。
従来のワンライトアズ・ア・タイム(OLAT)ベースの人間のリライトとは対照的に,我々のトランスフォーマーベースのRelightNetは,単一ネットワークパス内での出現を予測し,コストのかかるOLATベースのキャプチャと生成を回避する。
このようなモデルをトレーニングするために、マルチビューのライトステージに記録された新しいキャプチャ戦略とデータセットを導入し、ランダム環境マップで照らされたフレームと一様に照らされたトラッキングフレームを交互に配置し、同時に正確なモーショントラッキングと多様な照明とダイナミックスカバレッジを実現する。
レンダリング方程式にインスパイアされた我々は、粗い人間のメッシュプロキシと入力ビューから幾何学、アルベド、シェーディング、仮想カメラビューを符号化する物理インフォームド特徴を導出する。
我々のRelightNetは、これらの機能を入力として、新しい照明条件で横断的に処理し、粗いメッシュプロキシにアタッチされたテクセル整列型3Dガウススプラットの形で、依存した外観を後退させる。
その結果、我々のRelightNetは、単一のフィードフォワードパス内で、新しい照明条件のレンダリング方程式を効率的に計算することを暗黙的に学習した。
提案手法の視覚的忠実度と照明再現性について,最先端の手法と比較して実験を行った。
プロジェクトページ:https://vcai.mpi-inf.mpg.de/projects/RHC/
関連論文リスト
- UniLumos: Fast and Unified Image and Video Relighting with Physics-Plausible Feedback [31.03901228901908]
画像とビデオの両方に統一されたリライトフレームワークUniLumosを提案する。
我々は、照明効果をシーン構造と明確に一致させ、物理的妥当性を高める。
実験により、UniLumosは物理的な一貫性を大幅に改善して最先端のリライトを実現している。
論文 参考訳（メタデータ） (2025-11-03T15:41:41Z) - Inverse Image-Based Rendering for Light Field Generation from Single Images [30.856397422416517]
逆画像ベースレンダリングという,単一の画像のみからの光場生成のための新しいビュー合成手法を提案する。
画像ベースのレンダリングとは逆の振る舞いをする画像画素から空間内の光の流れを再構成する。
我々のニューラルは、まず入力画像から光源線の光の流れを記憶し、その後、交叉アテンションを通してそれらの関係を計算する。
論文 参考訳（メタデータ） (2025-10-23T02:12:45Z) - 3DPR: Single Image 3D Portrait Relight using Generative Priors [101.74130664920868]
3DPRは画像ベースのリライティングモデルであり、マルチビューのOne-Light-at-A-Time (OLAT)イメージから学習した生成的事前情報を活用する。
我々は,事前学習した画像データセットから学習した顔の幾何に先立ってリッチな情報を提供する,事前学習された生成ヘッドモデルの潜時空間を活用する。
我々のリフレクタンスネットワークは生成ヘッドモデルの潜在空間で動作し、比較的少数の光ステージ画像でリフレクタンスモデルを訓練することが可能である。
論文 参考訳（メタデータ） (2025-10-17T17:37:42Z) - BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading [3.447848701446988]
本研究では,インタラクティブなレートで新たな視点から表現可能な,光沢のある高解像度ヘッドアバターの再構成手法であるBecomingLitを紹介する。
様々な照明条件下で多数の被験者の多視点配列からなる新しいデータセットを収集する。
本稿では,ニューラル拡散BRDFと解析的特異項を組み合わせたハイブリッド型ニューラルシェーディング手法を提案する。
論文 参考訳（メタデータ） (2025-06-06T17:53:58Z) - BEAM: Bridging Physically-based Rendering and Gaussian Modeling for Relightable Volumetric Video [58.97416204208624]
BEAMは、4Dガウス表現を物理ベースレンダリング(PBR)でブリッジし、高品質でライティング可能なビデオを生成する新しいパイプラインである。
BEAMは、様々な照明条件下で現実的な人生のような可視化を提供することで、インタラクティブなエンターテイメント、ストーリーテリング、クリエイティブな可視化の新しい可能性を開く。
論文 参考訳（メタデータ） (2025-02-12T10:58:09Z) - D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - Relightable Gaussian Codec Avatars [26.255161061306428]
Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。
3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。
我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
論文 参考訳（メタデータ） (2023-12-06T18:59:58Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。