論文の概要: JNR: Joint-based Neural Rig Representation for Compact 3D Face Modeling

• arxiv url: http://arxiv.org/abs/2007.06755v3
• Date: Fri, 17 Jul 2020 23:35:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 14:32:47.165733
• Title: JNR: Joint-based Neural Rig Representation for Compact 3D Face Modeling
• Title（参考訳）: コンパクト3次元顔モデリングのためのジョイントベースニューラルリグ表現
• Authors: Noranart Vesdapunt, Mitch Rundle, HsiangTao Wu, Baoyuan Wang
• Abstract要約: 関節型顔リグとニューラルスキンネットワークを用いた3次元顔モデル学習手法を提案する。 結合型表現のおかげで、我々のモデルは以前のブレンドシェープモデルよりもいくつかの大きな利点を享受できる。
• 参考スコア（独自算出の注目度）: 22.584569656416864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a novel approach to learn a 3D face model using a joint-based face rig and a neural skinning network. Thanks to the joint-based representation, our model enjoys some significant advantages over prior blendshape-based models. First, it is very compact such that we are orders of magnitude smaller while still keeping strong modeling capacity. Second, because each joint has its semantic meaning, interactive facial geometry editing is made easier and more intuitive. Third, through skinning, our model supports adding mouth interior and eyes, as well as accessories (hair, eye glasses, etc.) in a simpler, more accurate and principled way. We argue that because the human face is highly structured and topologically consistent, it does not need to be learned entirely from data. Instead we can leverage prior knowledge in the form of a human-designed 3D face rig to reduce the data dependency, and learn a compact yet strong face model from only a small dataset (less than one hundred 3D scans). To further improve the modeling capacity, we train a skinning weight generator through adversarial learning. Experiments on fitting high-quality 3D scans (both neutral and expressive), noisy depth images, and RGB images demonstrate that its modeling capacity is on-par with state-of-the-art face models, such as FLAME and Facewarehouse, even though the model is 10 to 20 times smaller. This suggests broad value in both graphics and vision applications on mobile and edge devices.
• Abstract（参考訳）: 本稿では,ジョイント・ベース・フェイスリグとニューラル・スキンニング・ネットワークを用いて3次元顔モデルを学ぶための新しいアプローチを提案する。 結合型表現のおかげで、我々のモデルは以前のブレンドシェープモデルよりもいくつかの大きな利点を享受できる。 第一に、我々は強力なモデリング能力を維持しながら、桁違いに小さくなるように非常にコンパクトである。 第二に、各関節に意味的な意味があるため、インタラクティブな顔形状編集がより簡単で直感的になる。 第三に、スキンニングにより、私たちのモデルは口の内装と目、アクセサリー(髪、眼鏡など)をよりシンプルで正確で原則化された方法で追加できる。 人間の顔は高度に構造化されており、トポロジ的に一貫性があるので、データから完全に学習する必要はありません。 その代わりに、人間が設計した3Dフェイスリグという形で事前知識を活用して、データの依存性を減らし、小さなデータセット(100個の3Dスキャン未満)からコンパクトで強力なフェイスモデルを学ぶことができます。 モデリング能力をさらに向上させるために, 逆学習によりスキンング重量発生器を訓練する。 高品質な3Dスキャン(中性・表現性の両方)、ノイズの多い深度画像、RGB画像の装着実験は、モデルが10倍から20倍小さいにもかかわらず、FLAMEやFacewarehouseのような最先端の顔モデルとモデリング能力が同等であることを示した。 これは、モバイルおよびエッジデバイス上のグラフィックスおよびビジョンアプリケーションの両方における幅広い価値を示唆する。

関連論文リスト

• SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling [69.28254439393298]
  SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。 我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。 メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
  論文  参考訳（メタデータ） (2023-07-03T07:41:07Z)
• DANBO: Disentangled Articulated Neural Body Representations via Graph Neural Networks [12.132886846993108]
  高解像度モデルは、写真リアリスティックなアバターを可能にするが、エンドユーザーには利用できないスタジオ設定を必要とするコストがかかる。 私たちのゴールは、高価なスタジオのセットアップや表面追跡に頼ることなく、生画像から直接アバターを作ることです。 本稿では,2つの帰納バイアスを誘導する3段階の手法を提案する。
  論文  参考訳（メタデータ） (2022-05-03T17:56:46Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• FaceVerse: a Fine-grained and Detail-controllable 3D Face Morphable Model from a Hybrid Dataset [36.688730105295015]
  FaceVerseは60Kの融合RGB-D画像と2Kの高忠実度3Dヘッドスキャンモデルを含むハイブリッド東アジアの顔データセットから構築されている。 粗いモジュールでは、大規模なRGB-D画像からベースパラメトリックモデルを生成し、性別や年齢などによって正確な3D顔モデルを予測することができる。 高忠実度スキャンモデルで訓練された条件付きスタイルGANアーキテクチャを導入し、精巧な顔の幾何学的およびテクスチャ的詳細を表現した。
  論文  参考訳（メタデータ） (2022-03-26T12:13:14Z)
• Building 3D Generative Models from Minimal Data [3.472931603805115]
  一つの3Dテンプレート(1人1人ではなく1人1人)で顔の認識が可能であることを示す。 我々は,1つの3次元テンプレートと少数の2次元画像を用いて,3次元顔の分布の学習を可能にする,予備的な教師なし学習フレームワークにモデルを拡張した。
  論文  参考訳（メタデータ） (2022-03-04T20:10:50Z)
• BANMo: Building Animatable 3D Neural Models from Many Casual Videos [135.64291166057373]
  本稿では,特殊なセンサや事前定義されたテンプレート形状を必要としないBANMoを提案する。 Banmoは、多くのモノクロカジュアルビデオから高忠実な3Dモデルを、差別化可能なレンダリングフレームワークで構築する。 実際のデータセットと合成データセットでは、BANMoは人間や動物の以前の研究よりも高忠実な3D再構成を示している。
  論文  参考訳（メタデータ） (2021-12-23T18:30:31Z)
• Monocular Real-time Full Body Capture with Inter-part Correlations [66.22835689189237]
  本稿では,体と手の形状と運動を1色画像から動的3次元顔モデルと共に推定する,実時間フルボディキャプチャの最初の手法を提案する。 提案手法では,体と手の相関を高い計算効率で活用する新しいニューラルネットワークアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2020-12-11T02:37:56Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。