論文の概要: 3D Human Mesh Regression with Dense Correspondence

• arxiv url: http://arxiv.org/abs/2006.05734v2
• Date: Sun, 6 Jun 2021 13:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 05:50:46.860246
• Title: 3D Human Mesh Regression with Dense Correspondence
• Title（参考訳）: ディエンス対応による3次元メッシュ回帰
• Authors: Wang Zeng, Wanli Ouyang, Ping Luo, Wentao Liu, Xiaogang Wang
• Abstract要約: 単一の2D画像から人体の3Dメッシュを推定することは、拡張現実や人間とロボットのインタラクションといった多くのアプリケーションにおいて重要なタスクである。 前者は畳み込みニューラルネットワーク(CNN)を用いて抽出した大域的画像特徴から3Dメッシュを再構成した。 本稿では,メッシュとUV空間の局所像特徴との密接な対応性を明確に確立する,DecoMRというモデルフリーな3次元メッシュ推定フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 95.92326689172877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating 3D mesh of the human body from a single 2D image is an important task with many applications such as augmented reality and Human-Robot interaction. However, prior works reconstructed 3D mesh from global image feature extracted by using convolutional neural network (CNN), where the dense correspondences between the mesh surface and the image pixels are missing, leading to suboptimal solution. This paper proposes a model-free 3D human mesh estimation framework, named DecoMR, which explicitly establishes the dense correspondence between the mesh and the local image features in the UV space (i.e. a 2D space used for texture mapping of 3D mesh). DecoMR first predicts pixel-to-surface dense correspondence map (i.e., IUV image), with which we transfer local features from the image space to the UV space. Then the transferred local image features are processed in the UV space to regress a location map, which is well aligned with transferred features. Finally we reconstruct 3D human mesh from the regressed location map with a predefined mapping function. We also observe that the existing discontinuous UV map are unfriendly to the learning of network. Therefore, we propose a novel UV map that maintains most of the neighboring relations on the original mesh surface. Experiments demonstrate that our proposed local feature alignment and continuous UV map outperforms existing 3D mesh based methods on multiple public benchmarks. Code will be made available at https://github.com/zengwang430521/DecoMR
• Abstract（参考訳）: 単一の2D画像から人体の3Dメッシュを推定することは、拡張現実や人間とロボットのインタラクションといった多くのアプリケーションにおいて重要なタスクである。 しかし、先行研究は、畳み込みニューラルネットワーク(CNN)を用いて抽出した大域的画像特徴から3Dメッシュを再構成し、メッシュ表面と画像画素との密接な対応が欠落し、最適下解をもたらす。 本稿では,3次元メッシュのテクスチャマッピングに使用される2次元空間であるUV空間におけるメッシュと局所像特徴との密接な対応性を明確にしたモデルフリーな3次元メッシュ推定フレームワークであるDecoMRを提案する。 DecoMRはまず、画像空間から紫外線空間へ局所的な特徴を伝達するピクセル間密度対応マップ(IUV画像)を予測する。 そして、転送されたローカル画像特徴をUV空間で処理して、転送された特徴に整合した位置マップを回帰する。 最後に,レグレッシブ・ロケーション・マップから予め定義されたマッピング機能を用いて3次元ヒューマン・メッシュを再構成する。 また,既存の不連続UVマップはネットワーク学習に不都合であることも確認した。 そこで本研究では,メッシュ表面上の隣接関係のほとんどを維持できる新しいuvマップを提案する。 実験により,提案する局所機能アライメントと連続uvマップが,複数の公開ベンチマークで既存の3dメッシュベースの手法を上回っていることを示す。 コードはhttps://github.com/zengwang430521/DecoMRで利用可能になる。

関連論文リスト

• Weakly-Supervised 3D Reconstruction of Clothed Humans via Normal Maps [1.6462601662291156]
  そこで本研究では,2次元正規地図を用いた布地人の3次元再構築のための新しい深層学習手法を提案する。 一つのRGB画像またはマルチビュー画像から、我々のネットワークは、静止ポーズで体を囲む四面体メッシュ上で識別された符号付き距離関数(SDF)を推定する。 ネットワーク推論と3次元再構成の両方に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-27T18:06:35Z)
• SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation [53.83313235792596]
  本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。 2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。 本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
  論文  参考訳（メタデータ） (2023-06-28T22:36:44Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
  MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。 これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。 本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
  論文  参考訳（メタデータ） (2022-07-20T17:47:22Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
  本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。 特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。 本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-18T07:44:21Z)
• Atlas: End-to-End 3D Scene Reconstruction from Posed Images [13.154808583020229]
  RGB画像の集合からTSDF(truncated signed distance function)を直接回帰することにより,シーンのエンドツーエンドな3D再構成手法を提案する。 2D CNNは、各画像から特徴を独立して抽出し、その特徴をバックプロジェクションし、ボクセルボリュームに蓄積する。 3D CNNは蓄積した特徴を洗練し、TSDF値を予測する。
  論文  参考訳（メタデータ） (2020-03-23T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。