論文の概要: A Perceptual Shape Loss for Monocular 3D Face Reconstruction

• arxiv url: http://arxiv.org/abs/2310.19580v1
• Date: Mon, 30 Oct 2023 14:39:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:56:35.373752
• Title: A Perceptual Shape Loss for Monocular 3D Face Reconstruction
• Title（参考訳）: 単眼3次元顔再建における知覚形状損失
• Authors: Christopher Otto, Prashanth Chandran, Gaspard Zoss, Markus Gross, Paulo Gotardo, Derek Bradley
• Abstract要約: 本研究では,3次元顔再構成の質を人間がどう認識するかに着想を得た,単眼顔撮影のための新しい損失関数を提案する。 我々の損失は、入力顔画像と幾何推定のシェードレンダリングを採る判別器型ニューラルネットワークとして実装されている。 我々は、新しい知覚的形状損失が、単眼の3次元顔最適化とディープニューラルネットワーク回帰の伝統的なエネルギー用語とどのように組み合わせられるかを示す。
• 参考スコア（独自算出の注目度）: 13.527078921914985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular 3D face reconstruction is a wide-spread topic, and existing approaches tackle the problem either through fast neural network inference or offline iterative reconstruction of face geometry. In either case carefully-designed energy functions are minimized, commonly including loss terms like a photometric loss, a landmark reprojection loss, and others. In this work we propose a new loss function for monocular face capture, inspired by how humans would perceive the quality of a 3D face reconstruction given a particular image. It is widely known that shading provides a strong indicator for 3D shape in the human visual system. As such, our new 'perceptual' shape loss aims to judge the quality of a 3D face estimate using only shading cues. Our loss is implemented as a discriminator-style neural network that takes an input face image and a shaded render of the geometry estimate, and then predicts a score that perceptually evaluates how well the shaded render matches the given image. This 'critic' network operates on the RGB image and geometry render alone, without requiring an estimate of the albedo or illumination in the scene. Furthermore, our loss operates entirely in image space and is thus agnostic to mesh topology. We show how our new perceptual shape loss can be combined with traditional energy terms for monocular 3D face optimization and deep neural network regression, improving upon current state-of-the-art results.
• Abstract（参考訳）: モノクロ3D顔の再構成は広範にわたるトピックであり、既存のアプローチでは、高速ニューラルネットワーク推論またはオフラインの顔形状の反復的再構成によってこの問題に取り組む。 どちらの場合でも、注意深く設計されたエネルギー関数は最小化され、一般的には測光損失、ランドマーク再投影損失などの損失項が含まれる。 本研究では,特定の画像から得られる3次元顔の復元の質を人間がどのように認識するかに着想を得た,単眼顔撮影のための新しい損失関数を提案する。 シェーディングが人間の視覚系における3次元形状の強い指標となることは広く知られている。 そこで,新しい「知覚的」形状損失は,シェーディング手がかりのみを用いて3次元顔推定の質を判定することを目的としている。 私たちの損失は、入力された顔画像とジオメトリ推定のシェードレンダリングを取り込んで、シェードレンダリングが与えられた画像にどの程度適合するかを知覚的に評価するスコアを予測する、識別器スタイルのニューラルネットワークとして実装されます。 この「批判的」ネットワークはRGB画像と幾何学的レンダリングだけで動作し、シーン内のアルベドや照明を見積もる必要がない。 さらに、この損失は画像空間で完全に動作しており、メッシュトポロジーに非依存である。 新しい知覚的形状損失と従来の3d顔の最適化やディープニューラルネットワークの回帰といったエネルギー用語を組み合わせることで、最先端の結果を改善できることを示す。

関連論文リスト

• 3D Facial Expressions through Analysis-by-Neural-Synthesis [30.2749903946587]
  SMIRK(Spatial Modeling for Image-based Reconstruction of Kinesics)は、画像から表現力のある3次元顔を忠実に再構築する。 既存の手法では,自己指導型トレーニングの定式化における欠点と,訓練画像における表現の多様性の欠如の2つの重要な限界を識別する。 我々の質的,定量的,特に知覚的評価は、SMIRKが正確な表現再構成における新しい最先端技術を実現することを証明している。
  論文  参考訳（メタデータ） (2024-04-05T14:00:07Z)
• 2L3: Lifting Imperfect Generated 2D Images into Accurate 3D [16.66666619143761]
  マルチビュー(MV)3次元再構成は,生成したMV画像を一貫した3次元オブジェクトに融合させる,有望なソリューションである。 しかし、生成された画像は、通常、一貫性のない照明、不整合幾何学、スパースビューに悩まされ、復元の質が低下する。 本稿では, 内在的分解誘導, 過渡的モノ先行誘導, および3つの問題に対処するための視認性向上を活用する新しい3次元再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T02:30:31Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data [77.53134858717728]
  我々はニューラルレイディアンスフィールド(NeRF)のようなニューラルリコンストラクションとレンダリングの最近の進歩の強みの上に構築する。 我々は3次元形状と材料特性にソフト対称性の制約を適用し,光,アルベド色,反射率に分解された外観を有する。 保存されていない領域を高い忠実度で再構成し、高品質な新しいビュー画像を作成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-13T17:37:50Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
  微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。 電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。 再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T00:02:18Z)
• Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction [32.14605731030579]
  単一のRGB画像からの3D再構成は、コンピュータビジョンにおいて難しい問題である。 従来の手法は通常データ駆動であり、不正確な3次元形状の復元と限定的な一般化能力をもたらす。 本稿では,人造物体によく見られる反射対称性の鏡面を初めて検出し,その対称性の画素内対応を見いだして深度マップを予測する。
  論文  参考訳（メタデータ） (2020-06-17T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。