論文の概要: Face Inverse Rendering via Hierarchical Decoupling

• arxiv url: http://arxiv.org/abs/2301.06733v1
• Date: Tue, 17 Jan 2023 07:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 14:48:06.572709
• Title: Face Inverse Rendering via Hierarchical Decoupling
• Title（参考訳）: 階層的デカップリングによる顔逆レンダリング
• Authors: Meng Wang, Xiaojie Guo, Wenjing Dai, and Jiawan Zhang
• Abstract要約: 以前の顔の逆レンダリング法は、しばしば地上の真実と/または照明ステージのような専門的な装置の合成データを必要とする。 本研究では,野生の顔画像から対応するアルベド,ノーマル,照明成分を分離する深層学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.530753479268384
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Previous face inverse rendering methods often require synthetic data with ground truth and/or professional equipment like a lighting stage. However, a model trained on synthetic data or using pre-defined lighting priors is typically unable to generalize well for real-world situations, due to the gap between synthetic data/lighting priors and real data. Furthermore, for common users, the professional equipment and skill make the task expensive and complex. In this paper, we propose a deep learning framework to disentangle face images in the wild into their corresponding albedo, normal, and lighting components. Specifically, a decomposition network is built with a hierarchical subdivision strategy, which takes image pairs captured from arbitrary viewpoints as input. In this way, our approach can greatly mitigate the pressure from data preparation, and significantly broaden the applicability of face inverse rendering. Extensive experiments are conducted to demonstrate the efficacy of our design, and show its superior performance in face relighting over other state-of-the-art alternatives. {Our code is available at \url{https://github.com/AutoHDR/HD-Net.git}}
• Abstract（参考訳）: 以前の顔の逆レンダリング法は、しばしば地上の真実と/または照明ステージのような専門的な装置の合成データを必要とする。 しかしながら、合成データや事前定義された照明前処理を使って訓練されたモデルは、通常、合成データ/照明前処理と実データとのギャップのため、実世界の状況でうまく一般化できない。 さらに、一般ユーザにとって、プロの機器とスキルは、タスクを高価かつ複雑にします。 本稿では,野生の顔画像から対応するアルベド成分,正常成分,照明成分を分離する深層学習フレームワークを提案する。 具体的には、任意の視点から取得した画像対を入力として、階層的な分割戦略で分解ネットワークを構築する。 このようにして、このアプローチはデータ準備のプレッシャーを大幅に軽減し、顔逆レンダリングの適用性を大幅に広げることができます。 我々の設計の有効性を実証し、他の最先端技術よりも優れた照準性能を示すため、広範囲な実験を行った。 私たちのコードは \url{https://github.com/autohdr/hd-net.git}} で利用可能です。

関連論文リスト

• A General Albedo Recovery Approach for Aerial Photogrammetric Images through Inverse Rendering [7.874736360019618]
  本稿では,自然光照射下での典型的な航空写真からのアルベド回収のための一般的な画像形成モデルを提案する。 我々のアプローチは、太陽の照明と風景の幾何学の両方が空中光度計で推定可能であるという事実に基づいている。
  論文  参考訳（メタデータ） (2024-09-04T18:58:32Z)
• DiFaReli: Diffusion Face Relighting [13.000032155650835]
  野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Single-image Full-body Human Relighting [42.06323641073984]
  そこで本研究では,フルボディの人間で画像を自動的にリライトする単一画像データ駆動方式を提案する。 本フレームワークは,PRT(Precomputed Radiance Transfer)とSH(Spherical Harmonics)の照明を利用した現実的なシーン分解に基づいている。 本稿では,L1,対数,レンダリング損失の組み合わせを用いて学習したPRTの分解に合わせた新しいディープラーニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-07-15T11:34:03Z)
• Self-supervised Outdoor Scene Relighting [92.20785788740407]
  本稿では, 自己指導型リライティング手法を提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-07T09:46:19Z)
• Intrinsic Decomposition of Document Images In-the-Wild [28.677728405031782]
  本稿では,本質的な画像形成に基づく文書反射率を直接推定する学習手法を提案する。 提案アーキテクチャは, 合成テクスチャのみを弱い訓練信号として用いる自己教師型方式で機能する。 OCRパイプラインの前処理ステップとして使用する反射率推定方式は,文字誤り率を26%向上させる。
  論文  参考訳（メタデータ） (2020-11-29T21:39:58Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)
• Automated Synthetic-to-Real Generalization [142.41531132965585]
  本稿では,レイヤワイズ学習率の選択を自動化するためのテキスト学習最適化(L2O)戦略を提案する。 提案手法は,実データを見たり,トレーニングしたりすることなく,合成から現実への一般化性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-07-14T10:57:34Z)
• Learning Inverse Rendering of Faces from Real-world Videos [52.313931830408386]
  既存の方法は、顔画像を3つの構成要素(アルベド、ノーマル、照明)に分解する。 本稿では,アルベドと正常の整合性の仮定に基づいて,我々のモデルを実顔ビデオでトレーニングするための弱い教師付きトレーニング手法を提案する。 私たちのネットワークは、実データと合成データの両方で訓練されています。
  論文  参考訳（メタデータ） (2020-03-26T17:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。