論文の概要: LoopReg: Self-supervised Learning of Implicit Surface Correspondences, Pose and Shape for 3D Human Mesh Registration

• arxiv url: http://arxiv.org/abs/2010.12447v2
• Date: Fri, 26 Nov 2021 05:21:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 23:17:56.603113
• Title: LoopReg: Self-supervised Learning of Implicit Surface Correspondences, Pose and Shape for 3D Human Mesh Registration
• Title（参考訳）: loopreg: 3次元メッシュ登録のための暗黙的表面対応, ポーズ, 形状の自己教師あり学習
• Authors: Bharat Lal Bhatnagar, Cristian Sminchisescu, Christian Theobalt, Gerard Pons-Moll
• Abstract要約: LoopRegは、スキャンのコーパスを一般的な3Dモデルに登録するエンドツーエンドの学習フレームワークである。 ニューラルネットワークによってパラメータ化された後方マップは、スキャンポイント毎から人間のモデルの表面への対応を予測する。 人間のモデルによってパラメータ化されたフォワードマップは、モデルパラメータ(目的と形状)に基づいて対応するポイントをスキャンに変換する。
• 参考スコア（独自算出の注目度）: 123.62341095156611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of fitting 3D human models to 3D scans of dressed humans. Classical methods optimize both the data-to-model correspondences and the human model parameters (pose and shape), but are reliable only when initialized close to the solution. Some methods initialize the optimization based on fully supervised correspondence predictors, which is not differentiable end-to-end, and can only process a single scan at a time. Our main contribution is LoopReg, an end-to-end learning framework to register a corpus of scans to a common 3D human model. The key idea is to create a self-supervised loop. A backward map, parameterized by a Neural Network, predicts the correspondence from every scan point to the surface of the human model. A forward map, parameterized by a human model, transforms the corresponding points back to the scan based on the model parameters (pose and shape), thus closing the loop. Formulating this closed loop is not straightforward because it is not trivial to force the output of the NN to be on the surface of the human model - outside this surface the human model is not even defined. To this end, we propose two key innovations. First, we define the canonical surface implicitly as the zero level set of a distance field in R3, which in contrast to morecommon UV parameterizations, does not require cutting the surface, does not have discontinuities, and does not induce distortion. Second, we diffuse the human model to the 3D domain R3. This allows to map the NN predictions forward,even when they slightly deviate from the zero level set. Results demonstrate that we can train LoopRegmainly self-supervised - following a supervised warm-start, the model becomes increasingly more accurate as additional unlabelled raw scans are processed. Our code and pre-trained models can be downloaded for research.
• Abstract（参考訳）: 我々は3次元人間のモデルと着替えた人間の3次元スキャンの課題に対処する。 古典的な手法は、データ-モデル対応と人間のモデルパラメータ(目的と形状)の両方を最適化するが、ソリューションに近い初期化時にのみ信頼性がある。 いくつかの手法は、完全な教師付き対応予測器に基づいて最適化を初期化するが、これは識別不可能で、一度に1つのスキャンしか処理できない。 これは、スキャンのコーパスを一般的な3D人間モデルに登録するエンドツーエンドの学習フレームワークです。 鍵となるアイデアは、自己管理ループを作ることです。 ニューラルネットワークによってパラメータ化された後方マップは、人間のモデルの各スキャンポイントから表面への対応を予測する。 人間のモデルによってパラメータ化されたフォワードマップは、モデルパラメータ(目的と形状)に基づいて対応するポイントをスキャンに変換し、ループを閉じる。 この閉ループを定式化するのは簡単なことではありません。なぜなら、nnの出力をヒトのモデルの表面に置くことは自明ではないからです。 この目的のために、我々は2つの重要なイノベーションを提案する。 まず,r3 における距離場のゼロレベル集合として正準曲面を暗黙的に定義し,より一般的な uv パラメータ化とは対照的に,切断を必要とせず,不連続性を持たず,歪みを生じない。 次に、人間のモデルを3DドメインR3に拡散させる。 これにより、ゼロレベルセットからわずかに逸脱しても、NN予測を前方にマッピングすることができる。 その結果、LoopRegmainly self-supervisedlyをトレーニングできることが示されています - 教師付きウォームスタートの後に、追加の遅延しない生スキャンが処理されるにつれて、モデルはますます正確になるのです。 私たちのコードと事前訓練されたモデルは、研究のためにダウンロードできます。

関連論文リスト

• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)
• Unsupervised 3D Human Mesh Recovery from Noisy Point Clouds [30.401088478228235]
  ノイズの多い点雲から人体形状やポーズを復元するための教師なしのアプローチを提案する。 私たちのネットワークは、教師付きデータでネットワークをウォームアップする必要がないように、ゼロからトレーニングされています。
  論文  参考訳（メタデータ） (2021-07-15T18:07:47Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• Human Body Model Fitting by Learned Gradient Descent [48.79414884222403]
  画像に3次元の人体形状を適合させる新しいアルゴリズムを提案する。 このアルゴリズムは高速(約120ms収束)で、データセットに頑健であり、公開評価データセットの最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-19T14:26:47Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image [79.040930290399]
  I2L-MeshNetを提案する。 提案したI2L-MeshNetは、パラメータを直接回帰するのではなく、各メッシュ座標の1Dヒートマップ上のリセル当たりの確率を予測する。 我々のリセルベースの1Dヒートマップは入力画像の空間的関係を保存し、予測の不確かさをモデル化する。
  論文  参考訳（メタデータ） (2020-08-09T12:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。