論文の概要: Implicit 3D Human Mesh Recovery using Consistency with Pose and Shape from Unseen-view

• arxiv url: http://arxiv.org/abs/2306.17651v2
• Date: Mon, 3 Jul 2023 01:29:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 10:17:28.887535
• Title: Implicit 3D Human Mesh Recovery using Consistency with Pose and Shape from Unseen-view
• Title（参考訳）: ポーズと形状の一貫性を考慮した暗黙の3次元メッシュ復元
• Authors: Hanbyel Cho, Yooshin Cho, Jaesung Ahn, Junmo Kim
• Abstract要約: 人のイメージから、あいまいさがあっても自然の3Dポーズや形状を容易に推測できる。 Inmplicit 3D Human Mesh Recovery (ImpHMR) を提案する。
• 参考スコア（独自算出の注目度）: 23.30144908939099
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: From an image of a person, we can easily infer the natural 3D pose and shape of the person even if ambiguity exists. This is because we have a mental model that allows us to imagine a person's appearance at different viewing directions from a given image and utilize the consistency between them for inference. However, existing human mesh recovery methods only consider the direction in which the image was taken due to their structural limitations. Hence, we propose "Implicit 3D Human Mesh Recovery (ImpHMR)" that can implicitly imagine a person in 3D space at the feature-level via Neural Feature Fields. In ImpHMR, feature fields are generated by CNN-based image encoder for a given image. Then, the 2D feature map is volume-rendered from the feature field for a given viewing direction, and the pose and shape parameters are regressed from the feature. To utilize consistency with pose and shape from unseen-view, if there are 3D labels, the model predicts results including the silhouette from an arbitrary direction and makes it equal to the rotated ground-truth. In the case of only 2D labels, we perform self-supervised learning through the constraint that the pose and shape parameters inferred from different directions should be the same. Extensive evaluations show the efficacy of the proposed method.
• Abstract（参考訳）: 人物像から、曖昧性が存在する場合でも、自然の3dポーズや形状を容易に推測することができる。 これは、ある画像と異なる視線方向の人物の出現を想像し、それら間の一貫性を推論に活用できる精神モデルがあるためである。 しかしながら、既存のヒューマンメッシュリカバリ手法は、その構造的制限のために画像が撮影された方向のみを考慮する。 そこで本研究では,3次元空間にいる人物を神経的特徴領域を介して特徴量レベルで暗黙的に想像できる"implicit 3d human mesh recovery (imphmr)"を提案する。 ImpHMRでは、特定の画像に対してCNNベースの画像エンコーダによって特徴フィールドが生成される。 そして、所定の視聴方向のために特徴フィールドから2D特徴マップをボリュームレンダリングし、その特徴からポーズと形状パラメータを後退させる。 3次元ラベルが存在する場合、任意の方向からシルエットを含む結果を予測し、回転した接地トラスと等しくする。 2次元ラベルのみの場合、異なる方向から推定されるポーズパラメータと形状パラメータが同じであるべきという制約を通じて自己教師付き学習を行う。 大規模評価は,提案手法の有効性を示す。

関連論文リスト

• Disentangling 3D Attributes from a Single 2D Image: Human Pose, Shape and Garment [20.17991487155361]
  本研究では,2次元画像データのみから不整合3次元属性を抽出する課題に焦点をあてる。 本手法は,これら3つの画像特性の非絡み合った潜在表現を用いた埋め込みを学習する。 本研究では, 暗黙的な形状の損失が, モデルが微細な復元の詳細を復元する上で, どのような効果があるかを示す。
  論文  参考訳（メタデータ） (2022-08-05T13:48:43Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian [58.704089101826774]
  形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。 点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。 実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
  論文  参考訳（メタデータ） (2022-03-29T04:57:18Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes [117.76767853430243]
  SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。 反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。 最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
  論文  参考訳（メタデータ） (2021-04-08T17:54:59Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• Chained Representation Cycling: Learning to Estimate 3D Human Pose and Shape by Cycling Between Representations [73.11883464562895]
  本稿では,教師なし,あるいは教師なしの学習を容易にする新しいアーキテクチャを提案する。 本研究では,非ペア画像と無注釈画像から3次元人物のポーズと形状を学習することにより,その手法を実証する。 人間をモデル化するための結果を示す一方で、私たちの定式化は一般的であり、他の視覚問題にも適用できる。
  論文  参考訳（メタデータ） (2020-01-06T14:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。