論文の概要: URHand: Universal Relightable Hands

• arxiv url: http://arxiv.org/abs/2401.05334v1
• Date: Wed, 10 Jan 2024 18:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 13:58:53.706434
• Title: URHand: Universal Relightable Hands
• Title（参考訳）: urhand: ユニバーサル・リフレッシュブル・ハンド
• Authors: Zhaoxi Chen, Gyeongsik Moon, Kaiwen Guo, Chen Cao, Stanislav Pidhorskyi, Tomas Simon, Rohan Joshi, Yuan Dong, Yichen Xu, Bernardo Pires, He Wen, Lucas Evans, Bo Peng, Julia Buffalini, Autumn Trimble, Kevyn McPhail, Melissa Schoeller, Shoou-I Yu, Javier Romero, Michael Zollh\"ofer, Yaser Sheikh, Ziwei Liu, Shunsuke Saito
• Abstract要約: URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。 本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
• 参考スコア（独自算出の注目度）: 64.25893653236912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing photorealistic relightable hand models require extensive identity-specific observations in different views, poses, and illuminations, and face challenges in generalizing to natural illuminations and novel identities. To bridge this gap, we present URHand, the first universal relightable hand model that generalizes across viewpoints, poses, illuminations, and identities. Our model allows few-shot personalization using images captured with a mobile phone, and is ready to be photorealistically rendered under novel illuminations. To simplify the personalization process while retaining photorealism, we build a powerful universal relightable prior based on neural relighting from multi-view images of hands captured in a light stage with hundreds of identities. The key challenge is scaling the cross-identity training while maintaining personalized fidelity and sharp details without compromising generalization under natural illuminations. To this end, we propose a spatially varying linear lighting model as the neural renderer that takes physics-inspired shading as input feature. By removing non-linear activations and bias, our specifically designed lighting model explicitly keeps the linearity of light transport. This enables single-stage training from light-stage data while generalizing to real-time rendering under arbitrary continuous illuminations across diverse identities. In addition, we introduce the joint learning of a physically based model and our neural relighting model, which further improves fidelity and generalization. Extensive experiments show that our approach achieves superior performance over existing methods in terms of both quality and generalizability. We also demonstrate quick personalization of URHand from a short phone scan of an unseen identity.
• Abstract（参考訳）: 既存のフォトリアリスティック・リライタブルハンドモデルでは、異なる視点、ポーズ、照度において広範囲なアイデンティティ固有の観察を必要とし、自然の照度や新しいアイデンティティへの一般化における課題に直面している。 このギャップを埋めるために,ビューポイント,ポーズ,イルミネーション,アイデンティティにまたがって一般化した,初のユニバーサルリライトブルハンドモデルurhandを提案する。 本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。 フォトリアリズムを維持しつつパーソナライゼーションプロセスを単純化するため、数百のアイデンティティを持つライトステージで撮影されたハンドのマルチビュー画像からのニューラルリライトに基づいて、より強力なユニバーサルリライトを事前に構築する。 鍵となる課題は、パーソナライズされた忠実さとシャープな詳細を維持しながら、自然照明下での一般化を損なうことなく、クロスアイデンティティトレーニングをスケールすることだ。 そこで本研究では,物理に触発されたシェーディングを入力として,空間的に変化する線形照明モデルを提案する。 非線形のアクティベーションとバイアスを除去することにより、光輸送の線形性を明確に保ちます。 これにより、ライトステージデータからの単段トレーニングが可能となり、多様なidに対して任意の連続照度の下でのリアルタイムレンダリングに一般化される。 さらに,物理モデルとニューラルリライトモデルの共同学習を導入し,忠実度と一般化をさらに向上させる。 広範な実験により,本手法は品質と汎用性の両方において既存の手法よりも優れた性能を実現することが示された。 また、未確認の身元の短い携帯電話スキャンからURHandの迅速なパーソナライズも示す。

関連論文リスト

• URAvatar: Universal Relightable Gaussian Codec Avatars [42.25313535192927]
  我々は,未知の照明を持つ携帯電話スキャンから,フォトリアリスティックで光沢のある頭部アバターを作成するための新しいアプローチを提案する。 再建されたアバターは、様々な環境の世界的な照明でリアルタイムでアニメーションし、信頼することができる。
  論文  参考訳（メタデータ） (2024-10-31T17:59:56Z)
• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• RelightableHands: Efficient Neural Relighting of Articulated Hand Models [46.60594572471557]
  我々は、新しい照明下でリアルタイムにアニメーションできる高忠実度パーソナライズドハンドをレンダリングするための、最初のニューラルリライティング手法を提案する。 本手法では,教師が1点当たりの外観を,ライトステージで撮影した画像から学習する。 教師モデルによって表現されたイメージをトレーニングデータとして利用することにより,学生モデルは自然照度下での外観を直接リアルタイムで予測する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:48Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
  本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:13:28Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。