論文の概要: Riggable 3D Face Reconstruction via In-Network Optimization

• arxiv url: http://arxiv.org/abs/2104.03493v1
• Date: Thu, 8 Apr 2021 03:53:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 12:54:34.753760
• Title: Riggable 3D Face Reconstruction via In-Network Optimization
• Title（参考訳）: ネットワーク内最適化による3次元顔画像再構成
• Authors: Ziqian Bai, Zhaopeng Cui, Xiaoming Liu, Ping Tan
• Abstract要約: 本稿では,単眼画像からの3次元顔再構成法を提案する。 表情、ポーズ、照明を含む画像ごとのパーソナライズされた顔リグとパラメータを共同で推定する。 実験により,SOTA復元精度,ロバスト性,一般化能力が得られた。
• 参考スコア（独自算出の注目度）: 58.016067611038046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a method for riggable 3D face reconstruction from monocular images, which jointly estimates a personalized face rig and per-image parameters including expressions, poses, and illuminations. To achieve this goal, we design an end-to-end trainable network embedded with a differentiable in-network optimization. The network first parameterizes the face rig as a compact latent code with a neural decoder, and then estimates the latent code as well as per-image parameters via a learnable optimization. By estimating a personalized face rig, our method goes beyond static reconstructions and enables downstream applications such as video retargeting. In-network optimization explicitly enforces constraints derived from the first principles, thus introduces additional priors than regression-based methods. Finally, data-driven priors from deep learning are utilized to constrain the ill-posed monocular setting and ease the optimization difficulty. Experiments demonstrate that our method achieves SOTA reconstruction accuracy, reasonable robustness and generalization ability, and supports standard face rig applications.
• Abstract（参考訳）: 本稿では,表情,ポーズ,照度など,個人化された顔リグと画像ごとのパラメータを共同で推定する,単眼画像からの3次元顔再構成法を提案する。 この目的を達成するために、ネットワーク内最適化の異なるエンドツーエンドのトレーニング可能なネットワークを設計する。 ネットワークはまず、フェースリグをニューラルデコーダでコンパクトな潜伏符号としてパラメータ化し、学習可能な最適化を通じて潜伏符号と画像ごとのパラメータを推定する。 パーソナライズされた顔リグを推定することで,静的な再構築を超越し,ビデオ再ターゲティングなどの下流アプリケーションを可能にする。 ネットワーク内での最適化は、第一原理から導かれる制約を明示的に強制し、回帰に基づく手法よりも優先事項を導入する。 最後に、ディープラーニングによるデータ駆動前処理を利用して、不適切な単眼設定を制約し、最適化の困難さを緩和する。 実験により,SOTA再構成精度,ロバスト性,一般化性を実現し,標準的な顔リグアプリケーションをサポートすることを確認した。

関連論文リスト

• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• A Probabilistic Deep Image Prior for Computational Tomography [0.19573380763700707]
  既存の深層学習によるトモグラフィ画像再構成手法では,復元の不確かさの正確な推定は得られない。 我々は,古典的全変動(TV)正規化器と現代の深部画像先行(DIP)を組み合わせたトモグラフィー再構成のためのベイズ事前構築を行う。 提案手法は,高次元設定にスケーラブルな線形化Laplace法に基づく手法である。
  論文  参考訳（メタデータ） (2022-02-28T14:47:14Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
  多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。 各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
  論文  参考訳（メタデータ） (2021-01-06T13:15:21Z)
• Deep Probabilistic Feature-metric Tracking [27.137827823264942]
  画素単位の深度特徴写像と深度特徴量不確実性写像を学習するための新しいフレームワークを提案する。 CNNは、より高速で信頼性の高い収束のための深い初期ポーズを予測する。 実験により,TUM RGB-Dデータセットと3次元剛性物体追跡データセットの最先端性能が示された。
  論文  参考訳（メタデータ） (2020-08-31T11:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。