論文の概要: 3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch
Feature Swapping for Bodies and Faces
- arxiv url: http://arxiv.org/abs/2111.12448v2
- Date: Thu, 25 Nov 2021 15:20:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 12:51:31.213631
- Title: 3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch
Feature Swapping for Bodies and Faces
- Title(参考訳): 身体と顔のミニバッチ特徴スワップによる3次元形状可変オートエンコーダ潜入乱れ
- Authors: Simone Foti, Bongjin Koo, Danail Stoyanov, Matthew J. Clarkson
- Abstract要約: 本稿では,3次元形状変化型オートエンコーダを訓練する自己教師型アプローチを提案する。
3Dメッシュで行った実験結果から,潜伏不整合に対する最先端の手法では顔と身体の同一性を取り除けないことが明らかとなった。
- 参考スコア(独自算出の注目度): 12.114711258010367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning a disentangled, interpretable, and structured latent representation
in 3D generative models of faces and bodies is still an open problem. The
problem is particularly acute when control over identity features is required.
In this paper, we propose an intuitive yet effective self-supervised approach
to train a 3D shape variational autoencoder (VAE) which encourages a
disentangled latent representation of identity features. Curating the
mini-batch generation by swapping arbitrary features across different shapes
allows to define a loss function leveraging known differences and similarities
in the latent representations. Experimental results conducted on 3D meshes show
that state-of-the-art methods for latent disentanglement are not able to
disentangle identity features of faces and bodies. Our proposed method properly
decouples the generation of such features while maintaining good representation
and reconstruction capabilities.
- Abstract(参考訳): 顔と体の3次元生成モデルにおける不連続、解釈、構造化された潜在表現の学習は、いまだに未解決の問題である。
アイデンティティ機能をコントロールする必要がある場合、問題は特に深刻である。
本稿では,3次元形状変化型オートエンコーダ(VAE)を訓練する直感的かつ効果的な自己教師型手法を提案する。
任意の特徴を異なる形状に置き換えることでミニバッチ生成を計算することで、潜在表現の既知の相違と類似性を利用した損失関数を定義することができる。
3dメッシュを用いた実験の結果,潜伏性乱れに対する最先端手法では顔と身体の同一性特徴を分離できないことがわかった。
提案手法は,優れた表現能力と復元能力を維持しつつ,これらの特徴を適切に分離する。
関連論文リスト
- DrFER: Learning Disentangled Representations for 3D Facial Expression
Recognition [28.318304721838096]
本稿では,3D FERの分野に非交叉表現学習の概念を取り入れた,革新的なDrFER法を提案する。
DrFERは、表現情報をID情報から効果的に切り離すために、デュアルブランチフレームワークを使用している。
この適応は、顔の表情を認識する際の枠組みの能力を高める。
論文 参考訳(メタデータ) (2024-03-13T08:00:07Z) - Shape-centered Representation Learning for Visible-Infrared Person
Re-identification [53.56628297970931]
現在の可視赤外人物再識別法(VI-ReID)は外観特徴の抽出を優先する。
本研究では,形状に関連付けられた形状特徴と外観特徴に着目した形状中心表現学習フレームワーク(ScRL)を提案する。
形状に関連のある外観特徴を取得するために,形状特徴によって誘導される識別非関連特徴を抑えつつ,識別関連特徴をアクセントする外観特徴強調(AFE)を設計する。
論文 参考訳(メタデータ) (2023-10-27T07:57:24Z) - OmniAvatar: Geometry-Guided Controllable 3D Head Synthesis [81.70922087960271]
我々は,非構造画像から学習した新しい幾何学誘導型3次元頭部合成モデルであるOmniAvatarを提案する。
我々のモデルは、最先端の手法と比較して、魅力的なダイナミックディテールで、より好ましいID保存された3Dヘッドを合成することができる。
論文 参考訳(メタデータ) (2023-03-27T18:36:53Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-21T06:40:46Z) - Controllable 3D Generative Adversarial Face Model via Disentangling
Shape and Appearance [63.13801759915835]
3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。
本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
論文 参考訳(メタデータ) (2022-08-30T13:40:48Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳(メタデータ) (2021-08-10T12:19:34Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - Reconstructing Recognizable 3D Face Shapes based on 3D Morphable Models [20.381926248856452]
本稿では,形状パラメータと形状幾何学領域の識別性を高めることを目的とした,形状パラメータに対する新しい形状認識正規化(SIR)損失を提案する。
提案手法は, 形状パラメータの再構成誤差, 視覚的識別性, 顔認識精度の観点から, 既存の手法と比較する。
論文 参考訳(メタデータ) (2021-04-08T05:11:48Z) - gradSim: Differentiable simulation for system identification and
visuomotor control [66.37288629125996]
本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。
当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
論文 参考訳(メタデータ) (2021-04-06T16:32:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。