論文の概要: Sampling is Matter: Point-guided 3D Human Mesh Reconstruction

• arxiv url: http://arxiv.org/abs/2304.09502v1
• Date: Wed, 19 Apr 2023 08:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 15:09:56.400814
• Title: Sampling is Matter: Point-guided 3D Human Mesh Reconstruction
• Title（参考訳）: サンプリングは重要:ポイント誘導型3Dメッシュ再構築
• Authors: Jeonghwan Kim (1), Mi-Gyeong Gwon (1), Hyunwoo Park (1), Hyukmin Kwon (2), Gi-Mun Um (2), Wonjun Kim (1) ((1) Konkuk University, (2) Electronics and Telecommunications Research Institute)
• Abstract要約: 本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a simple yet powerful method for 3D human mesh reconstruction from a single RGB image. Most recently, the non-local interactions of the whole mesh vertices have been effectively estimated in the transformer while the relationship between body parts also has begun to be handled via the graph model. Even though those approaches have shown the remarkable progress in 3D human mesh reconstruction, it is still difficult to directly infer the relationship between features, which are encoded from the 2D input image, and 3D coordinates of each vertex. To resolve this problem, we propose to design a simple feature sampling scheme. The key idea is to sample features in the embedded space by following the guide of points, which are estimated as projection results of 3D mesh vertices (i.e., ground truth). This helps the model to concentrate more on vertex-relevant features in the 2D space, thus leading to the reconstruction of the natural human pose. Furthermore, we apply progressive attention masking to precisely estimate local interactions between vertices even under severe occlusions. Experimental results on benchmark datasets show that the proposed method efficiently improves the performance of 3D human mesh reconstruction. The code and model are publicly available at: https://github.com/DCVL-3D/PointHMR_release.
• Abstract（参考訳）: 本稿では,1枚のRGB画像から3次元メッシュを再構築する簡単な手法を提案する。 直近では、メッシュ頂点全体の非局所的相互作用はトランスフォーマにおいて効果的に推定され、ボディ部分間の関係もグラフモデルによって処理され始めている。 これらのアプローチは3次元メッシュ再構成の著しい進歩を示しているが、2次元入力画像から符号化された特徴と各頂点の3次元座標との関係を直接推測することは困難である。 この問題を解決するために,簡単な特徴サンプリング方式を提案する。 重要なアイデアは、3dメッシュ頂点(すなわち基底真理)の投影結果として推定される点のガイドに従って、埋め込み空間の特徴をサンプリングすることだ。 これにより、モデルは2次元空間における頂点関連の特徴に集中し、自然の人間のポーズを再構築する。 さらに,高度閉塞下においても頂点間の局所的相互作用を正確に推定するために,プログレッシブアテンションマスキングを適用した。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。 コードとモデルは、https://github.com/DCVL-3D/PointHMR_release.comで公開されている。

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network [66.24726878647543]
  単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。 近年の研究では、高密度対応型解の大きな可能性を示している。 そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:30:53Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• Learnable Triangulation for Deep Learning-based 3D Reconstruction of Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
  モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。 提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2021-09-24T09:44:22Z)
• DC-GNet: Deep Mesh Relation Capturing Graph Convolution Network for 3D Human Shape Reconstruction [1.290382979353427]
  本稿では,3次元形状復元のための形状補完タスクを備えたディープメッシュ・リレーション・キャプチャーグラフ・コンボリューション・ネットワーク(DC-GNet)を提案する。 我々のアプローチは、より遠い領域のノード間のより微妙な関係からメッシュ構造を符号化する。 形状完了モジュールは,屋外シーンの性能劣化問題を軽減する。
  論文  参考訳（メタデータ） (2021-08-27T16:43:32Z)
• An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
  微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。 電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。 再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T00:02:18Z)
• Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
  入力画像から直接ハンドメッシュを学習できることが示される。 我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
  論文  参考訳（メタデータ） (2021-01-27T07:38:01Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• 3D Human Mesh Regression with Dense Correspondence [95.92326689172877]
  単一の2D画像から人体の3Dメッシュを推定することは、拡張現実や人間とロボットのインタラクションといった多くのアプリケーションにおいて重要なタスクである。 前者は畳み込みニューラルネットワーク(CNN)を用いて抽出した大域的画像特徴から3Dメッシュを再構成した。 本稿では,メッシュとUV空間の局所像特徴との密接な対応性を明確に確立する,DecoMRというモデルフリーな3次元メッシュ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T08:50:53Z)
• Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
  Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
  論文  参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。