論文の概要: RelightableHands: Efficient Neural Relighting of Articulated Hand Models

• arxiv url: http://arxiv.org/abs/2302.04866v1
• Date: Thu, 9 Feb 2023 18:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 14:31:54.214607
• Title: RelightableHands: Efficient Neural Relighting of Articulated Hand Models
• Title（参考訳）: relightablehands: 有声手モデルの効率的なニューラルリライト
• Authors: Shun Iwase, Shunsuke Saito, Tomas Simon, Stephen Lombardi, Timur Bagautdinov, Rohan Joshi, Fabian Prada, Takaaki Shiratori, Yaser Sheikh, Jason Saragih
• Abstract要約: 我々は、新しい照明下でリアルタイムにアニメーションできる高忠実度パーソナライズドハンドをレンダリングするための、最初のニューラルリライティング手法を提案する。 本手法では,教師が1点当たりの外観を,ライトステージで撮影した画像から学習する。 教師モデルによって表現されたイメージをトレーニングデータとして利用することにより,学生モデルは自然照度下での外観を直接リアルタイムで予測する。
• 参考スコア（独自算出の注目度）: 46.60594572471557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first neural relighting approach for rendering high-fidelity personalized hands that can be animated in real-time under novel illumination. Our approach adopts a teacher-student framework, where the teacher learns appearance under a single point light from images captured in a light-stage, allowing us to synthesize hands in arbitrary illuminations but with heavy compute. Using images rendered by the teacher model as training data, an efficient student model directly predicts appearance under natural illuminations in real-time. To achieve generalization, we condition the student model with physics-inspired illumination features such as visibility, diffuse shading, and specular reflections computed on a coarse proxy geometry, maintaining a small computational overhead. Our key insight is that these features have strong correlation with subsequent global light transport effects, which proves sufficient as conditioning data for the neural relighting network. Moreover, in contrast to bottleneck illumination conditioning, these features are spatially aligned based on underlying geometry, leading to better generalization to unseen illuminations and poses. In our experiments, we demonstrate the efficacy of our illumination feature representations, outperforming baseline approaches. We also show that our approach can photorealistically relight two interacting hands at real-time speeds. https://sh8.io/#/relightable_hands
• Abstract（参考訳）: 我々は、新しい照明下でリアルタイムでアニメーションできる高忠実度パーソナライズドハンドをレンダリングするための、最初の神経リライト方式を提案する。 提案手法では,光ステージで撮影した画像から単点光の下での出現を教師が学習し,任意の照度で手を合成するが,計算量が多い教師・教師の枠組みを採用している。 教師モデルによって表現されたイメージをトレーニングデータとして利用することにより,学生モデルは自然照度下での外観を直接リアルタイムで予測する。 一般化を実現するために,粗いプロキシ幾何上に計算された可視性,拡散陰影,鏡面反射といった物理に触発された照明特性を学生モデルに条件付けし,計算オーバーヘッドを小さく抑える。 私たちの重要な洞察は、これらの機能はその後のグローバル光輸送効果と強い相関を持ち、ニューラルネットワークのコンディショニングデータとして十分であることが証明されるということです。 さらに、ボトルネック照明条件とは対照的に、これらの特徴は下層の幾何学に基づいて空間的に整列し、目に見えない照明やポーズをより一般化する。 実験では,照明特徴表現の有効性を実証し,ベースラインのアプローチに優れることを示した。 また,我々のアプローチは,相互に作用する手をリアルタイムにリライトできることを示した。 https://sh8.io/#/relightable_hands

関連論文リスト

• Baking Relightable NeRF for Real-time Direct/Indirect Illumination Rendering [4.812321790984493]
  レンダリング方程式の計算コストが高いため、リアルタイムのリライトは困難である。 そこで本研究では,CNNを用いて一次曲面点とレンダリングパラメータを計算する手法を提案する。 両方の蒸留は、事前訓練された教師モデルから訓練され、目に見えない照明条件下でリアルタイムな物理的レンダリングを提供する。
  論文  参考訳（メタデータ） (2024-09-16T14:38:26Z)
• Zero-Reference Low-Light Enhancement via Physical Quadruple Priors [58.77377454210244]
  本稿では,標準光画像のみをトレーニング可能な,ゼロ参照低光強調フレームワークを提案する。 このフレームワークは、画像にさかのぼる照明不変性を復元し、自動的に低照度化を実現します。
  論文  参考訳（メタデータ） (2024-03-19T17:36:28Z)
• URHand: Universal Relightable Hands [64.25893653236912]
  URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。 本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
  論文  参考訳（メタデータ） (2024-01-10T18:59:51Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Modeling Indirect Illumination for Inverse Rendering [31.734819333921642]
  本稿では,空間的に変化する間接照明を効率よく回収するための新しい手法を提案する。 重要な洞察は、間接照明は入力画像から学習した神経放射場から便利に導出できるということである。 合成データと実データの両方の実験は、従来の研究と比較して、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2022-04-14T09:10:55Z)
• Neural Relightable Participating Media Rendering [26.431106015677]
  我々は,グローバル照明の完全なシミュレーションにより,参加メディアのためのニューラル表現を学習する。 提案手法は,最先端手法と比較して,視覚的品質と数値的性能に優れる。
  論文  参考訳（メタデータ） (2021-10-25T14:36:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。