論文の概要: Geometry-aware Single-image Full-body Human Relighting

• arxiv url: http://arxiv.org/abs/2207.04750v2
• Date: Tue, 12 Jul 2022 15:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 11:06:54.293873
• Title: Geometry-aware Single-image Full-body Human Relighting
• Title（参考訳）: 幾何学的一像フルボディリライティング
• Authors: Chaonan Ji, Tao Yu, Kaiwen Guo, Jingxin Liu, Yebin Liu
• Abstract要約: 単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
• 参考スコア（独自算出の注目度）: 37.381122678376805
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Single-image human relighting aims to relight a target human under new lighting conditions by decomposing the input image into albedo, shape and lighting. Although plausible relighting results can be achieved, previous methods suffer from both the entanglement between albedo and lighting and the lack of hard shadows, which significantly decrease the realism. To tackle these two problems, we propose a geometry-aware single-image human relighting framework that leverages single-image geometry reconstruction for joint deployment of traditional graphics rendering and neural rendering techniques. For the de-lighting, we explore the shortcomings of UNet architecture and propose a modified HRNet, achieving better disentanglement between albedo and lighting. For the relighting, we introduce a ray tracing-based per-pixel lighting representation that explicitly models high-frequency shadows and propose a learning-based shading refinement module to restore realistic shadows (including hard cast shadows) from the ray-traced shading maps. Our framework is able to generate photo-realistic high-frequency shadows such as cast shadows under challenging lighting conditions. Extensive experiments demonstrate that our proposed method outperforms previous methods on both synthetic and real images.
• Abstract（参考訳）: 単像人間の照明は、入力画像をアルベド、形状、照明に分解することで、新しい照明条件下でターゲットの人間を照らすことを目的としている。 妥当な照明効果は達成できるが、以前の方法はアルベドと照明の絡み合いと硬い影の欠如の両方に苦しむため、リアリズムは大きく低下する。 これら2つの問題に対処するために,従来のグラフィックレンダリングとニューラルレンダリングの併用配置に単一画像の幾何再構成を応用した,幾何学的一眼レフティングフレームワークを提案する。 消灯のために、unetアーキテクチャの欠点を探究し、修正hrnetを提案し、アルベドと照明のより良好な絡み合いを実現する。 本報告では,高周波数影を明示的にモデル化したレイトレーシング方式の画素ごとの照明表現を導入し,レイトレーシングシェーディングマップから現実的な影(ハードキャストシャドウを含む)を復元する学習型シェーディングリファインメントモジュールを提案する。 提案手法は, キャスティングシャドウなどのフォトリアリスティックな高周波シャドウを, 厳しい照明条件下で生成することができる。 提案手法は, 合成画像と実画像の両方において, 従来の手法よりも優れていた。

関連論文リスト

• Gaussian Shadow Casting for Neural Characters [20.78790953284832]
  本稿では,サンプリングを単純な解析式に置き換えたガウス密度プロキシを用いた新しい影モデルを提案する。 動的運動をサポートし、シャドウ計算用に調整されているため、近縁なガウススプラッティングで必要とされるアフィン射影近似やソートを避けることができる。 我々は、直射日光と硬い影を持つ屋外の挑戦シーンにおいて、アルベド、シェーディング、シャドウの分離性を向上し、改良された再構築を実演した。
  論文  参考訳（メタデータ） (2024-01-11T18:50:31Z)
• Relightable and Animatable Neural Avatars from Videos [14.091229306680697]
  本研究では, 可照性でアニマタブルなニューラルアバターを作成する方法を提案する。 鍵となる課題は、幾何学、衣服の素材、照明を解体することである。 合成および実データを用いた実験により,本手法は高品質な幾何を再構成することを示した。
  論文  参考訳（メタデータ） (2023-12-20T09:39:55Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Self-supervised Outdoor Scene Relighting [92.20785788740407]
  本稿では, 自己指導型リライティング手法を提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-07T09:46:19Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)
• Towards Geometry Guided Neural Relighting with Flash Photography [26.511476565209026]
  本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。 本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
  論文  参考訳（メタデータ） (2020-08-12T08:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。