論文の概要: S2F2: Self-Supervised High Fidelity Face Reconstruction from Monocular Image

• arxiv url: http://arxiv.org/abs/2203.07732v1
• Date: Tue, 15 Mar 2022 08:55:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 02:50:56.491053
• Title: S2F2: Self-Supervised High Fidelity Face Reconstruction from Monocular Image
• Title（参考訳）: S2F2:単眼画像からの自己監督型高忠実顔再構成
• Authors: Abdallah Dib, Junghyun Ahn, Cedric Thebault, Philippe-Henri Gosselin, Louis Chevallier
• Abstract要約: 単一画像から空間的に変化する顔の反射率の詳細な顔形状を再構成する新しい顔再構成法を提案する。 最先端の手法と比較して,本手法はより視覚的に魅力的な再構築を実現する。
• 参考スコア（独自算出の注目度）: 2.469794902645761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel face reconstruction method capable of reconstructing detailed face geometry, spatially varying face reflectance from a single monocular image. We build our work upon the recent advances of DNN-based auto-encoders with differentiable ray tracing image formation, trained in self-supervised manner. While providing the advantage of learning-based approaches and real-time reconstruction, the latter methods lacked fidelity. In this work, we achieve, for the first time, high fidelity face reconstruction using self-supervised learning only. Our novel coarse-to-fine deep architecture allows us to solve the challenging problem of decoupling face reflectance from geometry using a single image, at high computational speed. Compared to state-of-the-art methods, our method achieves more visually appealing reconstruction.
• Abstract（参考訳）: 単一の単眼画像から空間的に変化する顔反射率の詳細な顔形状を再構成する新しい顔再構成法を提案する。 我々は、DNNベースの自動エンコーダの最近の進歩に基づいて、自己教師付きで訓練された異なる光線追跡画像形成技術を構築した。 学習に基づくアプローチとリアルタイム再構築の利点を提供する一方で、後者の手法は忠実性に欠けていた。 本研究では, 自己教師付き学習のみを用いて, 初めて高忠実度顔再構成を実現する。 我々の新しい粗い深層アーキテクチャは、1つの画像から高速に顔反射率を分解する難解な問題を解くことができる。 最先端の手法と比較して,より視覚的に魅力的な再構築を実現する。

関連論文リスト

• Double-Flow GAN model for the reconstruction of perceived faces from brain activities [13.707575848841405]
  そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。 また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。 その結果, 提案手法は, 複数の顔特性を正確に再構成し, 過去の再現モデルより優れ, 最先端の復元能力を示すことがわかった。
  論文  参考訳（メタデータ） (2023-12-12T18:07:57Z)
• Robust Geometry and Reflectance Disentanglement for 3D Face Reconstruction from Sparse-view Images [12.648827250749587]
  本稿では,スパースビュー画像から人間の顔を再構成するための新しい2段階のアプローチを提案する。 本手法は, 周囲光からの形状, 拡散反射, スペクトル反射など, 顔の特徴を分解することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-12-11T03:14:58Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Self-supervised High-fidelity and Re-renderable 3D Facial Reconstruction from a Single Image [19.0074836183624]
  そこで本研究では,高品質な3次元顔の再構築を目的とした,新たな自己教師型学習フレームワークを提案する。 我々のフレームワークは質的比較と量的比較の両方において最先端のアプローチを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-11-16T08:10:24Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)
• Learning Complete 3D Morphable Face Models from Images and Videos [88.34033810328201]
  本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。 既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。
  論文  参考訳（メタデータ） (2020-10-04T20:51:23Z)
• Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation [92.86123832948809]
  本稿では,2つの繰り返しネットワーク間の反復的協調による深層面超解像(FSR)手法を提案する。 各繰り返しステップにおいて、リカバリブランチは、ランドマークの事前の知識を利用して、高品質な画像を生成する。 新しい注意融合モジュールはランドマークマップのガイダンスを強化するために設計されている。
  論文  参考訳（メタデータ） (2020-03-29T16:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。