論文の概要: End-to-End Human Pose and Mesh Reconstruction with Transformers
- arxiv url: http://arxiv.org/abs/2012.09760v2
- Date: Sun, 28 Mar 2021 01:20:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 07:23:24.597071
- Title: End-to-End Human Pose and Mesh Reconstruction with Transformers
- Title（参考訳）: トランスを用いたエンド・ツー・エンドヒューマン・ポースとメッシュ再構成
- Authors: Kevin Lin, Lijuan Wang, Zicheng Liu
- Abstract要約: MEsh TRansfOrmer(METRO)と呼ばれる新しい方法で、単一の画像から3D人間のポーズとメッシュ頂点を再構築します。
METROはSMPLのようなパラメトリックメッシュモデルに依存しないので、手などの他のオブジェクトにも容易に拡張できる。
FreiHANDデータセット上の既存の最先端のメソッドを上回る、野生のMETROから3Dハンド再構築の汎用性を示す。
- 参考スコア（独自算出の注目度）: 17.75480888764098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new method, called MEsh TRansfOrmer (METRO), to reconstruct 3D
human pose and mesh vertices from a single image. Our method uses a transformer
encoder to jointly model vertex-vertex and vertex-joint interactions, and
outputs 3D joint coordinates and mesh vertices simultaneously. Compared to
existing techniques that regress pose and shape parameters, METRO does not rely
on any parametric mesh models like SMPL, thus it can be easily extended to
other objects such as hands. We further relax the mesh topology and allow the
transformer self-attention mechanism to freely attend between any two vertices,
making it possible to learn non-local relationships among mesh vertices and
joints. With the proposed masked vertex modeling, our method is more robust and
effective in handling challenging situations like partial occlusions. METRO
generates new state-of-the-art results for human mesh reconstruction on the
public Human3.6M and 3DPW datasets. Moreover, we demonstrate the
generalizability of METRO to 3D hand reconstruction in the wild, outperforming
existing state-of-the-art methods on FreiHAND dataset.
- Abstract（参考訳）: 本研究では,メッシュトランスフォーマタ(metro)と呼ばれる新しい手法を提案し,人間の3次元ポーズとメッシュ頂点を1つの画像から再構成する。
本手法では、トランスコーダを用いて頂点-頂点-接合相互作用をモデル化し、3次元ジョイント座標とメッシュ頂点を同時に出力する。
ポーズと形状パラメータを回帰する既存の手法と比較して、METROはSMPLのようなパラメトリックメッシュモデルに依存しないので、手などの他のオブジェクトにも容易に拡張できる。
さらにメッシュトポロジーを緩和し、トランスフォーマー自着機構が任意の2つの頂点間を自由に参加できるようにし、メッシュ頂点と関節間の非局所関係を学べるようにした。
提案するマスキング頂点モデリングは, 部分閉塞などの困難な状況に対してより頑健で効果的な手法である。
METROは、パブリックなHuman3.6Mと3DPWデータセット上で、人間のメッシュ再構築のための新しい最先端の結果を生成する。
さらに,METROの3次元手指再構成への一般化性を示し,FreiHANDデータセットにおける既存の最先端手法よりも優れていた。
関連論文リスト
- PivotMesh: Generic 3D Mesh Generation via Pivot Vertices Guidance [66.40153183581894]
汎用的でスケーラブルなメッシュ生成フレームワークであるPivotMeshを紹介します。
PivotMeshは、ネイティブメッシュ生成を大規模データセットに拡張する最初の試みである。
PivotMeshは,様々なカテゴリにまたがって,コンパクトでシャープな3Dメッシュを生成することができることを示す。
論文 参考訳（メタデータ） (2024-05-27T07:13:13Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳（メタデータ） (2023-09-28T17:59:51Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳（メタデータ） (2023-04-19T08:45:26Z) - MeMaHand: Exploiting Mesh-Mano Interaction for Single Image Two-Hand
Reconstruction [19.82874341207336]
メッシュを再構築し、単一のRGB画像から2つの手のMANOパラメータを同時に推定する。
MMIBは、局所情報を集約するために1つのグラフ残差ブロックと、長距離依存をモデル化するために2つのトランスフォーマーエンコーダから構成される。
InterHand2.6Mベンチマークの実験は、最先端の手再構成法に対して有望な結果を示した。
論文 参考訳（メタデータ） (2023-03-28T04:06:02Z) - Surface-Aligned Neural Radiance Fields for Controllable 3D Human
Synthesis [4.597864989500202]
本稿では,多視点RGBビデオから暗黙の3次元モデルを再構築する手法を提案する。
本手法は,人体メッシュの表面から,メッシュ表面点と署名された距離のニューラルシーン表現を定義する。
論文 参考訳（メタデータ） (2022-01-05T16:25:32Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳（メタデータ） (2021-12-14T13:14:24Z) - KAMA: 3D Keypoint Aware Body Mesh Articulation [79.04090630502782]
本稿では,パラメトリックなボディーモデルSMPLを簡単な幾何学的変換によって記述する解析解を提案する。
今回のアプローチは,最先端のアプローチと比較して,画像コンテンツのアライメントが大幅に向上する。
挑戦的な3DPWおよびHuman3.6Mの結果は私達のアプローチが最先端のボディ網付属品をもたらすことを示します。
論文 参考訳（メタデータ） (2021-04-27T23:01:03Z) - Mesh Graphormer [17.75480888764098]
グラフ畳み込み強化変換器であるMesh Graphormerを1枚の画像から3次元の人間のポーズとメッシュ再構成を行う。
論文 参考訳（メタデータ） (2021-04-01T06:16:36Z) - Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
入力画像から直接ハンドメッシュを学習できることが示される。
我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
論文 参考訳（メタデータ） (2021-01-27T07:38:01Z) - Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows [79.39092757515395]
ニューラルメッシュフロー (NMF) を用いて, 種数0の2次元メッシュを生成する。
NMFは数個のニューラル正規微分方程式(NODE)ブロックからなる形状自動エンコーダで、球面メッシュを段階的に変形させることで正確なメッシュ形状を学習する。
実験の結果,NMFは単一視点メッシュ再構成,大域的な形状パラメータ化,テクスチャマッピング,形状変形,対応性など,いくつかの応用に役立つことがわかった。
論文 参考訳（メタデータ） (2020-07-21T17:45:41Z) - Learning Nonparametric Human Mesh Reconstruction from a Single Image
without Ground Truth Meshes [56.27436157101251]
そこで本研究では,人間のメッシュ再構築を基礎となる真理メッシュを使わずに学習する手法を提案する。
これはグラフ畳み込みニューラルネットワーク(Graph CNN)の損失関数に2つの新しい用語を導入することで実現される。
論文 参考訳（メタデータ） (2020-02-28T20:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。