論文の概要: Learning Inverse Rendering of Faces from Real-world Videos

• arxiv url: http://arxiv.org/abs/2003.12047v1
• Date: Thu, 26 Mar 2020 17:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 21:59:12.088097
• Title: Learning Inverse Rendering of Faces from Real-world Videos
• Title（参考訳）: 実世界ビデオから顔の逆レンダリングを学ぶ
• Authors: Yuda Qiu, Zhangyang Xiong, Kai Han, Zhongyuan Wang, Zixiang Xiong, Xiaoguang Han
• Abstract要約: 既存の方法は、顔画像を3つの構成要素(アルベド、ノーマル、照明)に分解する。 本稿では,アルベドと正常の整合性の仮定に基づいて,我々のモデルを実顔ビデオでトレーニングするための弱い教師付きトレーニング手法を提案する。 私たちのネットワークは、実データと合成データの両方で訓練されています。
• 参考スコア（独自算出の注目度）: 52.313931830408386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we examine the problem of inverse rendering of real face images. Existing methods decompose a face image into three components (albedo, normal, and illumination) by supervised training on synthetic face data. However, due to the domain gap between real and synthetic face images, a model trained on synthetic data often does not generalize well to real data. Meanwhile, since no ground truth for any component is available for real images, it is not feasible to conduct supervised learning on real face images. To alleviate this problem, we propose a weakly supervised training approach to train our model on real face videos, based on the assumption of consistency of albedo and normal across different frames, thus bridging the gap between real and synthetic face images. In addition, we introduce a learning framework, called IlluRes-SfSNet, to further extract the residual map to capture the global illumination effects that give the fine details that are largely ignored in existing methods. Our network is trained on both real and synthetic data, benefiting from both. We comprehensively evaluate our methods on various benchmarks, obtaining better inverse rendering results than the state-of-the-art.
• Abstract（参考訳）: 本稿では,実顔画像の逆レンダリングの問題について検討する。 既存の方法は、合成顔データに対する教師あり訓練により、顔画像を3つの構成要素(アルベド、ノーマル、照明)に分解する。 しかし、実画像と合成画像の領域ギャップのため、合成データに基づいて訓練されたモデルは、しばしば実データにうまく一般化しない。 一方、実画像にはいかなる要素も根拠となる事実がないため、実画像で教師あり学習を行うことは不可能である。 この問題を軽減するために,本研究では,アルベドの整合性の仮定と,異なるフレーム間の正規化の仮定に基づいて,実際の顔画像と合成顔画像とのギャップを埋める,弱教師付きトレーニング手法を提案する。 さらに、IlluRes-SfSNetと呼ばれる学習フレームワークを導入し、残余マップを抽出して、既存の手法で無視されている細部の詳細を与えるグローバル照明効果を捉える。 私たちのネットワークは、実データと合成データの両方でトレーニングされています。 提案手法を様々なベンチマークで総合的に評価し,その逆レンダリング結果が最先端技術よりも優れていることを示す。

関連論文リスト

• Digi2Real: Bridging the Realism Gap in Synthetic Data Face Recognition via Foundation Models [4.910937238451485]
  本稿では,合成顔画像のリアリズム向上を目的とした,リアリズム伝達のための新しいフレームワークを提案する。 グラフィクスパイプラインの制御可能な側面とリアリズム強化技術を統合することで、我々は大量のリアルなバリエーションを生成する。
  論文  参考訳（メタデータ） (2024-11-04T15:42:22Z)
• Face Inverse Rendering via Hierarchical Decoupling [19.530753479268384]
  以前の顔の逆レンダリング法は、しばしば地上の真実と/または照明ステージのような専門的な装置の合成データを必要とする。 本研究では,野生の顔画像から対応するアルベド,ノーマル,照明成分を分離する深層学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-17T07:24:47Z)
• From Face to Natural Image: Learning Real Degradation for Blind Image Super-Resolution [72.68156760273578]
  実世界の低品質(LQ)画像の超解像のためのトレーニングペアを設計する。 我々は、劣化認識とコンテンツ非依存の表現を明示的に予測するために、HQとLQの顔画像のペアを入力とする。 次に、これらの実際の劣化表現を顔から自然画像に転送し、劣化したLQ自然画像を合成する。
  論文  参考訳（メタデータ） (2022-10-03T08:09:21Z)
• FaceEraser: Removing Facial Parts for Augmented Reality [10.575917056215289]
  私たちの仕事は、すべての顔部分を取り除き、拡張現実のために空白の顔に視覚的要素を課すことです。 本研究では,空白の顔によく似通ったペアトレーニングデータを生成する新しいデータ生成手法を提案する。 提案手法は商用製品に統合され,その有効性は制約のないユーザ入力で検証されている。
  論文  参考訳（メタデータ） (2021-09-22T14:30:12Z)
• SynFace: Face Recognition with Synthetic Data [83.15838126703719]
  我々は、ID混在(IM)とドメイン混在(DM)を併用したSynFaceを考案し、パフォーマンスギャップを緩和する。 また、合成顔画像の系統的実験分析を行い、合成データを顔認識に効果的に活用する方法についての知見を提供する。
  論文  参考訳（メタデータ） (2021-08-18T03:41:54Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。