論文の概要: Self Supervised Networks for Learning Latent Space Representations of Human Body Scans and Motions

• arxiv url: http://arxiv.org/abs/2411.03475v1
• Date: Tue, 05 Nov 2024 19:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:23:36.730087
• Title: Self Supervised Networks for Learning Latent Space Representations of Human Body Scans and Motions
• Title（参考訳）: 人体スコープと運動の潜在空間表現学習のための自己監視ネットワーク
• Authors: Emmanuel Hartman, Nicolas Charon, Martin Bauer,
• Abstract要約: 本稿では,3次元人体解析・処理の分野におけるいくつかの基本的な問題に対処するために,自己教師型ニューラルネットワークモデルを提案する。 身体形状とポーズの潜在空間表現を検索するための新しいアーキテクチャであるVariShaPEを提案する。 第二に、潜時空間の幾何学を学習するフレームワークであるMoGeNで潜時符号の推定を補完する。
• 参考スコア（独自算出の注目度）: 6.165163123577484
• License:
• Abstract: This paper introduces self-supervised neural network models to tackle several fundamental problems in the field of 3D human body analysis and processing. First, we propose VariShaPE (Varifold Shape Parameter Estimator), a novel architecture for the retrieval of latent space representations of body shapes and poses. This network offers a fast and robust method to estimate the embedding of arbitrary unregistered meshes into the latent space. Second, we complement the estimation of latent codes with MoGeN (Motion Geometry Network) a framework that learns the geometry on the latent space itself. This is achieved by lifting the body pose parameter space into a higher dimensional Euclidean space in which body motion mini-sequences from a training set of 4D data can be approximated by simple linear interpolation. Using the SMPL latent space representation we illustrate how the combination of these network models, once trained, can be used to perform a variety of tasks with very limited computational cost. This includes operations such as motion interpolation, extrapolation and transfer as well as random shape and pose generation.
• Abstract（参考訳）: 本稿では,3次元人体解析・処理の分野におけるいくつかの基本的な問題に対処するために,自己教師型ニューラルネットワークモデルを提案する。 まず、身体形状とポーズの潜在空間表現を検索するための新しいアーキテクチャであるVariShaPE(Varifold Shape Parameter Estimator)を提案する。 このネットワークは、任意の未登録メッシュの潜在空間への埋め込みを推定する高速で堅牢な方法を提供する。 第二に、潜時空間の幾何学を学習するフレームワークであるMoGeN(Motion Geometry Network)を用いて潜時符号の推定を補完する。 これは、ボディポーズパラメータ空間を4次元データのトレーニングセットからのボディモーションミニシーケンスを単純な線形補間により近似できる高次元ユークリッド空間に持ち上げることで実現される。 SMPL潜在空間表現を用いて、これらのネットワークモデルの組み合わせが一度訓練されたら、計算コストを非常に制限して様々なタスクを実行できるかを説明する。 これには、動き補間、外挿、移動、ランダムな形状やポーズ生成などの操作が含まれる。

関連論文リスト

• Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
  大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。 LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。 新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
  論文  参考訳（メタデータ） (2024-10-24T17:54:42Z)
• VortSDF: 3D Modeling with Centroidal Voronoi Tesselation on Signed Distance Field [5.573454319150408]
  四面体グリッド上での3次元形状特性を推定するために,明示的なSDFフィールドと浅いカラーネットワークを組み合わせた体積最適化フレームワークを提案する。 Chamfer統計による実験結果は、オブジェクト、オープンシーン、人間などの様々なシナリオにおいて、前例のない復元品質でこのアプローチを検証する。
  論文  参考訳（メタデータ） (2024-07-29T09:46:39Z)
• Simplicits: Mesh-Free, Geometry-Agnostic, Elastic Simulation [18.45850302604534]
  幾何表現の任意の対象に対して弾性シミュレーションを行うための,データ,メッシュ,グリッドフリーのソリューションを提案する。 各オブジェクトに対して、変形ベースとして作用する様々な重みを符号化する小さな暗黙のニューラルネットワークを適合させる。 実験では, 距離関数, 点雲, ニューラルプリミティブ, トモグラフィースキャン, 放射場, ガウススプラット, 表面メッシュ, 体積メッシュなどのデータに対して, このアプローチの汎用性, 精度, 速度を実証した。
  論文  参考訳（メタデータ） (2024-06-09T18:57:23Z)
• High-fidelity 3D Model Compression based on Key Spheres [6.59007277780362]
  明示的な鍵球を入力として用いたSDF予測ネットワークを提案する。 提案手法は,高忠実かつ高圧縮な3次元オブジェクトの符号化と再構成を実現する。
  論文  参考訳（メタデータ） (2022-01-19T09:21:54Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One Go [109.88509362837475]
  入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。 NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。 異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-06-17T12:25:44Z)
• Spatially Invariant Unsupervised 3D Object Segmentation with Graph Neural Networks [23.729853358582506]
  本研究では,空間混合モデルとして点雲をモデル化するフレームワークSPAIR3Dを提案する。 変分オートエンコーダ(VAE)を用いて3次元の多目的表現とセグメンテーションを共同で学習する。 実験の結果,SPAIR3Dは外見情報のない可変物体を検出・分割できることがわかった。
  論文  参考訳（メタデータ） (2021-06-10T09:20:16Z)
• Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration [67.69257782645789]
  本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。 パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:16:09Z)
• Learning Transferable Kinematic Dictionary for 3D Human Pose and Shape Reconstruction [15.586347115568973]
  ヒト関節の3次元回転の解空間を明示的に正規化するキネマティック辞書を提案する。 ニューラルネットワークのトレーニング中にシェイプアノテーションを使わずに,エンドツーエンドの3D再構築を実現する。 提案手法は、Human3.6M, MPI-INF-3DHP, LSPなどの大規模データセットの競合結果を得る。
  論文  参考訳（メタデータ） (2021-04-02T09:24:29Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。