論文の概要: Dynamic Surface Function Networks for Clothed Human Bodies

• arxiv url: http://arxiv.org/abs/2104.03978v1
• Date: Thu, 8 Apr 2021 18:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 13:57:18.767354
• Title: Dynamic Surface Function Networks for Clothed Human Bodies
• Title（参考訳）: 衣料人体のための動的表面関数ネットワーク
• Authors: Andrei Burov and Matthias Nie{\ss}ner and Justus Thies
• Abstract要約: 単眼のrgb-d配列が与えられると、動的表面関数ネットワークに基づく個人特異的体モデルが学習される。 SMPLボディモデルの正則空間に埋め込まれた多層パーセプトロン(MLP)を用いて、人の表面を明示的にモデル化します。 この表面表現とポーズパラメータは, 合成による解析と微分の原理を用いて, 自己教師あり方式で学習できることを示す。
• 参考スコア（独自算出の注目度）: 10.955380178253055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method for temporal coherent reconstruction and tracking of clothed humans. Given a monocular RGB-D sequence, we learn a person-specific body model which is based on a dynamic surface function network. To this end, we explicitly model the surface of the person using a multi-layer perceptron (MLP) which is embedded into the canonical space of the SMPL body model. With classical forward rendering, the represented surface can be rasterized using the topology of a template mesh. For each surface point of the template mesh, the MLP is evaluated to predict the actual surface location. To handle pose-dependent deformations, the MLP is conditioned on the SMPL pose parameters. We show that this surface representation as well as the pose parameters can be learned in a self-supervised fashion using the principle of analysis-by-synthesis and differentiable rasterization. As a result, we are able to reconstruct a temporally coherent mesh sequence from the input data. The underlying surface representation can be used to synthesize new animations of the reconstructed person including pose-dependent deformations.
• Abstract（参考訳）: 衣服の時間的コヒーレントな再構築と追跡のための新しい手法を提案する。 単眼のrgb-d配列が与えられると、動的表面関数ネットワークに基づく個人特異的体モデルが学習される。 この目的のために、SMPLボディモデルの標準空間に埋め込まれた多層パーセプトロン(MLP)を用いて、人物の表面を明示的にモデル化する。 古典的なフォワードレンダリングでは、表現された表面はテンプレートメッシュのトポロジーを使ってラスタライズすることができる。 テンプレートメッシュの各表面点について、mlpの評価を行い、実際の表面位置を予測する。 ポーズ依存変形を処理するために、SMPLポーズパラメータにMLPを条件付けする。 この表面表現とポーズパラメータは, 合成による解析とラスタ化の原理を用いて, 自己教師あり方式で学習できることを示す。 その結果,入力データから時間的コヒーレントなメッシュシーケンスを再構築することができた。 基礎となる表面表現は、ポーズ依存の変形を含む再構成された人の新しいアニメーションを合成するのに使うことができる。

関連論文リスト

• Self Supervised Networks for Learning Latent Space Representations of Human Body Scans and Motions [6.165163123577484]
  本稿では,3次元人体解析・処理の分野におけるいくつかの基本的な問題に対処するために,自己教師型ニューラルネットワークモデルを提案する。 身体形状とポーズの潜在空間表現を検索するための新しいアーキテクチャであるVariShaPEを提案する。 第二に、潜時空間の幾何学を学習するフレームワークであるMoGeNで潜時符号の推定を補完する。
  論文  参考訳（メタデータ） (2024-11-05T19:59:40Z)
• Flatten Anything: Unsupervised Neural Surface Parameterization [76.4422287292541]
  本研究では,FAM(Flatten Anything Model)を導入し,グローバルな自由境界面パラメータ化を実現する。 従来の手法と比較して,FAMは接続情報を活用することなく,個別の面上で直接動作する。 当社のFAMは前処理を必要とせずに完全に自動化されており,高度に複雑なトポロジを扱うことができる。
  論文  参考訳（メタデータ） (2024-05-23T14:39:52Z)
• DynoSurf: Neural Deformation-based Temporally Consistent Dynamic Surface Reconstruction [93.18586302123633]
  本稿では3次元点雲列から時間的に一貫した表面を対応なく再構成する問題について考察する。 テンプレート表面表現と学習可能な変形場を統合した教師なし学習フレームワークDynoSurfを提案する。 実験により、DynoSurfの現在の最先端アプローチに対する顕著な優位性を示した。
  論文  参考訳（メタデータ） (2024-03-18T08:58:48Z)
• NPC: Neural Point Characters from Video [21.470471345454524]
  高忠実な人間の3Dモデルは、ビデオから直接学ぶことができる。 以前の方法はテンプレートの使用を避けるが、観測から標準空間への高コストあるいは不適切なマッピングに依存していた。 アニマタブルな文字を再構成するためのハイブリッドなポイントベース表現を提案する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:22Z)
• HSurf-Net: Normal Estimation for 3D Point Clouds by Learning Hyper Surfaces [54.77683371400133]
  本稿では,ノイズと密度の変動のある点群から正規性を正確に予測できるHSurf-Netという新しい正規推定手法を提案する。 実験結果から, HSurf-Netは, 合成形状データセット上での最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-10-13T16:39:53Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
  単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。 粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。 次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
  論文  参考訳（メタデータ） (2021-11-16T01:27:20Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。