論文の概要: TailorNet: Predicting Clothing in 3D as a Function of Human Pose, Shape
and Garment Style
- arxiv url: http://arxiv.org/abs/2003.04583v2
- Date: Sun, 15 Mar 2020 16:35:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 21:39:54.996435
- Title: TailorNet: Predicting Clothing in 3D as a Function of Human Pose, Shape
and Garment Style
- Title(参考訳): TailorNet: 人間の姿勢, 形状, 衣服スタイルとしての3D衣料予測
- Authors: Chaitanya Patel, Zhouyingcheng Liao, Gerard Pons-Moll
- Abstract要約: 本稿では,3次元の衣服の変形を,ポーズ,形状,スタイルの3因子の関数として予測するニューラルネットワークであるTailorNetを提案する。
我々の仮説は、例の(非線形でも)組み合わせは、微細なしわのような高周波成分を滑らかに出すというものである。
いくつかの実験では、TailorNetは以前の作業よりも現実的な結果を生み出し、時間的に一貫性のある変形も生成している。
- 参考スコア(独自算出の注目度): 43.99803542307155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present TailorNet, a neural model which predicts clothing
deformation in 3D as a function of three factors: pose, shape and style
(garment geometry), while retaining wrinkle detail. This goes beyond prior
models, which are either specific to one style and shape, or generalize to
different shapes producing smooth results, despite being style specific. Our
hypothesis is that (even non-linear) combinations of examples smooth out high
frequency components such as fine-wrinkles, which makes learning the three
factors jointly hard. At the heart of our technique is a decomposition of
deformation into a high frequency and a low frequency component. While the
low-frequency component is predicted from pose, shape and style parameters with
an MLP, the high-frequency component is predicted with a mixture of shape-style
specific pose models. The weights of the mixture are computed with a narrow
bandwidth kernel to guarantee that only predictions with similar high-frequency
patterns are combined. The style variation is obtained by computing, in a
canonical pose, a subspace of deformation, which satisfies physical constraints
such as inter-penetration, and draping on the body. TailorNet delivers 3D
garments which retain the wrinkles from the physics based simulations (PBS) it
is learned from, while running more than 1000 times faster. In contrast to PBS,
TailorNet is easy to use and fully differentiable, which is crucial for
computer vision algorithms. Several experiments demonstrate TailorNet produces
more realistic results than prior work, and even generates temporally coherent
deformations on sequences of the AMASS dataset, despite being trained on static
poses from a different dataset. To stimulate further research in this
direction, we will make a dataset consisting of 55800 frames, as well as our
model publicly available at https://virtualhumans.mpi-inf.mpg.de/tailornet.
- Abstract(参考訳): 本稿では,3次元の衣服の変形を3つの要素(ポーズ,形状,スタイル)の関数として予測するニューラルネットワークであるTalorNetについて述べる。
これは、1つのスタイルと形状に特有な、または異なる形状に一般化し、スタイルに特有であるにもかかわらず滑らかな結果をもたらす以前のモデルを超える。
我々の仮説では、例の(非線形でない)組み合わせは、微細なしわなどの高周波成分を滑らかにし、これら3つの要素を共同で学習することが困難である。
技術の中心は, 変形を高周波成分と低周波数成分に分解することである。
低周波成分は、MLPを用いたポーズ、形状、スタイルパラメータから予測されるが、高周波成分は、形状スタイル特定ポーズモデルの混合により予測される。
混合の重みは狭い帯域幅のカーネルで計算され、同様の高周波パターンの予測が組み合わさることを保証する。
スタイルのバリエーションは、標準的なポーズにおいて、体に貫通やドーピングなどの物理的制約を満たす変形のサブスペースを演算することによって得られる。
tailornetは、学習した物理ベースのシミュレーション(pbs)のしわを保ちながら、1000倍以上の速度で走る3d衣料品を提供する。
PBSとは対照的に、TailorNetは使いやすく、完全に差別化可能である。
TailorNetは、以前の作業よりも現実的な結果を生成し、異なるデータセットから静的なポーズでトレーニングされているにも関わらず、AMASSデータセットのシーケンスに時間的コヒーレントな変形を発生させる。
この方向のさらなる研究を刺激するために、我々は55800フレームからなるデータセットをhttps://virtualhumans.mpi-inf.mpg.de/tailornet.com/で公開します。
関連論文リスト
- Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。
我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
論文 参考訳(メタデータ) (2021-05-21T14:41:31Z) - Learning Skeletal Articulations with Neural Blend Shapes [57.879030623284216]
あらかじめ定義された骨格構造を有するエンベロープを用いて3次元文字を表現できるニューラルテクニックを開発している。
我々のフレームワークは、同じ調音構造を持つリグとスキンキャラクタを学習する。
関節領域の変形品質を向上させるニューラルブレンディング形状を提案します。
論文 参考訳(メタデータ) (2021-05-06T05:58:13Z) - Fully Convolutional Graph Neural Networks for Parametric Virtual Try-On [9.293488420613148]
完全畳み込みグラフニューラルネットワークに基づく仮想試行アプリケーションのための学習に基づくアプローチを提案する。
特定の衣服やメッシュトポロジーのために訓練された既存のデータ駆動モデルとは対照的に、私たちの完全な畳み込みモデルは、大きな種類の衣服を扱うことができる。
内部では、3つの異なる変形源を分離し、衣服のフィットを条件にすることで、3D衣服のドレープを学習する新しい幾何学的深層学習手法が提案されている。
論文 参考訳(メタデータ) (2020-09-09T22:38:03Z) - Combining Implicit Function Learning and Parametric Models for 3D Human
Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。
このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。
詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文 参考訳(メタデータ) (2020-07-22T13:46:14Z) - GarNet++: Improving Fast and Accurate Static3D Cloth Draping by
Curvature Loss [89.96698250086064]
仮想3次元体上にテンプレート布を視覚的に可視的に描画する2ストリームディープネットワークモデルを提案する。
我々のネットワークは、計算時間を桁違いに減らしながら、物理ベースシミュレーション(PBS)法を模倣することを学ぶ。
身体形状とポーズの異なる4種類の衣服の枠組みを検証した。
論文 参考訳(メタデータ) (2020-07-20T13:40:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。