論文の概要: 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior

• arxiv url: http://arxiv.org/abs/2404.16536v1
• Date: Thu, 25 Apr 2024 11:50:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 13:49:56.918666
• Title: 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior
• Title（参考訳）: 弱教師付き不整合ネットワークを用いた3次元顔のモデリング
• Authors: Guohao Li, Hongyu Yang, Di Huang, Yunhong Wang,
• Abstract要約: 切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。 従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。 本稿では,WSDF(Wakly Supervised Disentanglement Framework)を導入し,過度に拘束的なラベル付けを必要とせず,制御可能な3次元顔モデルのトレーニングを容易にする。
• 参考スコア（独自算出の注目度）: 62.80458034704989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative 3D face models featuring disentangled controlling factors hold immense potential for diverse applications in computer vision and computer graphics. However, previous 3D face modeling methods face a challenge as they demand specific labels to effectively disentangle these factors. This becomes particularly problematic when integrating multiple 3D face datasets to improve the generalization of the model. Addressing this issue, this paper introduces a Weakly-Supervised Disentanglement Framework, denoted as WSDF, to facilitate the training of controllable 3D face models without an overly stringent labeling requirement. Adhering to the paradigm of Variational Autoencoders (VAEs), the proposed model achieves disentanglement of identity and expression controlling factors through a two-branch encoder equipped with dedicated identity-consistency prior. It then faithfully re-entangles these factors via a tensor-based combination mechanism. Notably, the introduction of the Neutral Bank allows precise acquisition of subject-specific information using only identity labels, thereby averting degeneration due to insufficient supervision. Additionally, the framework incorporates a label-free second-order loss function for the expression factor to regulate deformation space and eliminate extraneous information, resulting in enhanced disentanglement. Extensive experiments have been conducted to substantiate the superior performance of WSDF. Our code is available at https://github.com/liguohao96/WSDF.
• Abstract（参考訳）: 切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。 しかし、従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。 これは、モデルの一般化を改善するために複数の3D顔データセットを統合する場合に特に問題となる。 本稿では, 過度に拘束的なラベル付けを必要とせず, 制御可能な3次元顔モデルのトレーニングを容易にするために, WSDF と表記される弱弱弱化処理フレームワークを提案する。 変分オートエンコーダ (VAE) のパラダイムに則って, 専用ID一貫性を持つ2分岐エンコーダを用いて, 同一性と表現制御因子のアンタングル化を実現する。 その後、テンソルベースの結合機構を通じてこれらの因子を忠実に再結合する。 特に、中立銀行の導入により、アイデンティティラベルのみを使用して、被写体固有の情報の正確な取得が可能となり、監督が不十分なため、変性を回避できる。 さらに、このフレームワークは、表現係数のラベルフリーな2次損失関数を組み込んで、変形空間を規制し、外部情報を排除し、拡張された絡み合いをもたらす。 WSDFの優れた性能を裏付ける大規模な実験が実施されている。 私たちのコードはhttps://github.com/liguohao96/WSDF.comで公開されています。

関連論文リスト

• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• Reinforced Disentanglement for Face Swapping without Skip Connection [18.97633893837313]
  我々は、スキップ接続を取り除き、2つのターゲットエンコーダを使用する「WSCスワップ」と呼ばれる新しいフェイススワップフレームワークを導入する。 我々の結果は、アイデンティティの整合性を測定するための新しい指標を含む、リッチなメトリクスセットに関する以前の研究よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-07-16T02:44:19Z)
• Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation [66.21121745446345]
  本稿では,特定の属性ラベルを入力として統合した条件付きGNeRFモデルを提案する。 提案手法は, 事前学習した3次元顔モデルに基づいており, 条件付き正規化フローモジュールをトレーニングするためのTraining as Init and fidelity for Tuning (TRIOT) 方式を提案する。 本実験は,ビューの整合性を高めた高品質な編集を行う能力を示すとともに,本モデルの有効性を実証するものである。
  論文  参考訳（メタデータ） (2022-08-26T10:05:39Z)
• A Dual-Masked Auto-Encoder for Robust Motion Capture with Spatial-Temporal Skeletal Token Completion [13.88656793940129]
  本稿では, 3次元関節を再構成し, 個々の関節を識別するための適応的, アイデンティティを意識した三角測量モジュールを提案する。 次に,D-MAE(Dual-Masked Auto-Encoder)を提案する。 重大なデータ損失シナリオを扱う上で提案するモデルの能力を実証するために,高精度で挑戦的なモーションキャプチャデータセットに貢献する。
  論文  参考訳（メタデータ） (2022-07-15T10:00:43Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• 3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces [12.114711258010367]
  本稿では,3次元形状変化型オートエンコーダを訓練する自己教師型アプローチを提案する。 3Dメッシュで行った実験結果から,潜伏不整合に対する最先端の手法では顔と身体の同一性を取り除けないことが明らかとなった。
  論文  参考訳（メタデータ） (2021-11-24T11:53:33Z)
• Unsupervised Geodesic-preserved Generative Adversarial Networks for Unconstrained 3D Pose Transfer [84.04540436494011]
  任意の任意の任意の3次元メッシュ間のポーズ転送を行うための教師なしアプローチを提案する。 具体的には、内因性(形状)と外因性(ポーズ)の情報保存について、新規な内因性-外因性保存生成ネットワーク(IEP-GAN)を提示する。 提案手法は,最近の最先端手法と比較して,より優れた結果が得られ,より効率的である。
  論文  参考訳（メタデータ） (2021-08-17T09:08:21Z)
• Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation [75.59415852802958]
  Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。 私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
  論文  参考訳（メタデータ） (2020-12-16T20:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。