論文の概要: URHand: Universal Relightable Hands
- arxiv url: http://arxiv.org/abs/2401.05334v1
- Date: Wed, 10 Jan 2024 18:59:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 13:58:53.706434
- Title: URHand: Universal Relightable Hands
- Title(参考訳): urhand: ユニバーサル・リフレッシュブル・ハンド
- Authors: Zhaoxi Chen, Gyeongsik Moon, Kaiwen Guo, Chen Cao, Stanislav
Pidhorskyi, Tomas Simon, Rohan Joshi, Yuan Dong, Yichen Xu, Bernardo Pires,
He Wen, Lucas Evans, Bo Peng, Julia Buffalini, Autumn Trimble, Kevyn McPhail,
Melissa Schoeller, Shoou-I Yu, Javier Romero, Michael Zollh\"ofer, Yaser
Sheikh, Ziwei Liu, Shunsuke Saito
- Abstract要約: URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。
本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
- 参考スコア(独自算出の注目度): 64.25893653236912
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing photorealistic relightable hand models require extensive
identity-specific observations in different views, poses, and illuminations,
and face challenges in generalizing to natural illuminations and novel
identities. To bridge this gap, we present URHand, the first universal
relightable hand model that generalizes across viewpoints, poses,
illuminations, and identities. Our model allows few-shot personalization using
images captured with a mobile phone, and is ready to be photorealistically
rendered under novel illuminations. To simplify the personalization process
while retaining photorealism, we build a powerful universal relightable prior
based on neural relighting from multi-view images of hands captured in a light
stage with hundreds of identities. The key challenge is scaling the
cross-identity training while maintaining personalized fidelity and sharp
details without compromising generalization under natural illuminations. To
this end, we propose a spatially varying linear lighting model as the neural
renderer that takes physics-inspired shading as input feature. By removing
non-linear activations and bias, our specifically designed lighting model
explicitly keeps the linearity of light transport. This enables single-stage
training from light-stage data while generalizing to real-time rendering under
arbitrary continuous illuminations across diverse identities. In addition, we
introduce the joint learning of a physically based model and our neural
relighting model, which further improves fidelity and generalization. Extensive
experiments show that our approach achieves superior performance over existing
methods in terms of both quality and generalizability. We also demonstrate
quick personalization of URHand from a short phone scan of an unseen identity.
- Abstract(参考訳): 既存のフォトリアリスティック・リライタブルハンドモデルでは、異なる視点、ポーズ、照度において広範囲なアイデンティティ固有の観察を必要とし、自然の照度や新しいアイデンティティへの一般化における課題に直面している。
このギャップを埋めるために,ビューポイント,ポーズ,イルミネーション,アイデンティティにまたがって一般化した,初のユニバーサルリライトブルハンドモデルurhandを提案する。
本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
フォトリアリズムを維持しつつパーソナライゼーションプロセスを単純化するため、数百のアイデンティティを持つライトステージで撮影されたハンドのマルチビュー画像からのニューラルリライトに基づいて、より強力なユニバーサルリライトを事前に構築する。
鍵となる課題は、パーソナライズされた忠実さとシャープな詳細を維持しながら、自然照明下での一般化を損なうことなく、クロスアイデンティティトレーニングをスケールすることだ。
そこで本研究では,物理に触発されたシェーディングを入力として,空間的に変化する線形照明モデルを提案する。
非線形のアクティベーションとバイアスを除去することにより、光輸送の線形性を明確に保ちます。
これにより、ライトステージデータからの単段トレーニングが可能となり、多様なidに対して任意の連続照度の下でのリアルタイムレンダリングに一般化される。
さらに,物理モデルとニューラルリライトモデルの共同学習を導入し,忠実度と一般化をさらに向上させる。
広範な実験により,本手法は品質と汎用性の両方において既存の手法よりも優れた性能を実現することが示された。
また、未確認の身元の短い携帯電話スキャンからURHandの迅速なパーソナライズも示す。
関連論文リスト
- Relightable Neural Actor with Intrinsic Decomposition and Pose Control [85.89305777719495]
Relightable Neural Actorは、リライト可能なニューラルヒューマンモデルを学習するための、最初のビデオベース手法である。
我々は、ポーズ依存の衣服の変形をモデル化する乾燥密度場を持つアクターの幾何学を表現する。
我々は、新しい人間のポーズに対する最先端のリライティング結果を実証する。
論文 参考訳(メタデータ) (2023-12-18T14:30:13Z) - Relightful Harmonization: Lighting-aware Portrait Background Replacement [24.19548598390059]
背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。
第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
論文 参考訳(メタデータ) (2023-12-11T23:20:31Z) - RelightableHands: Efficient Neural Relighting of Articulated Hand Models [46.60594572471557]
我々は、新しい照明下でリアルタイムにアニメーションできる高忠実度パーソナライズドハンドをレンダリングするための、最初のニューラルリライティング手法を提案する。
本手法では,教師が1点当たりの外観を,ライトステージで撮影した画像から学習する。
教師モデルによって表現されたイメージをトレーニングデータとして利用することにより,学生モデルは自然照度下での外観を直接リアルタイムで予測する。
論文 参考訳(メタデータ) (2023-02-09T18:59:48Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T17:15:58Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳(メタデータ) (2022-07-27T16:07:48Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳(メタデータ) (2021-04-01T14:13:28Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳(メタデータ) (2020-10-17T23:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。