論文の概要: Mesh Graphormer
- arxiv url: http://arxiv.org/abs/2104.00272v1
- Date: Thu, 1 Apr 2021 06:16:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 13:41:22.842374
- Title: Mesh Graphormer
- Title(参考訳): Mesh Graphormer
- Authors: Kevin Lin, Lijuan Wang, Zicheng Liu
- Abstract要約: グラフ畳み込み強化変換器であるMesh Graphormerを1枚の画像から3次元の人間のポーズとメッシュ再構成を行う。
- 参考スコア(独自算出の注目度): 17.75480888764098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a graph-convolution-reinforced transformer, named Mesh Graphormer,
for 3D human pose and mesh reconstruction from a single image. Recently both
transformers and graph convolutional neural networks (GCNNs) have shown
promising progress in human mesh reconstruction. Transformer-based approaches
are effective in modeling non-local interactions among 3D mesh vertices and
body joints, whereas GCNNs are good at exploiting neighborhood vertex
interactions based on a pre-specified mesh topology. In this paper, we study
how to combine graph convolutions and self-attentions in a transformer to model
both local and global interactions. Experimental results show that our proposed
method, Mesh Graphormer, significantly outperforms the previous
state-of-the-art methods on multiple benchmarks, including Human3.6M, 3DPW, and
FreiHAND datasets
- Abstract(参考訳): グラフ畳み込み強化変換器であるMesh Graphormerを1枚の画像から3次元の人間のポーズとメッシュ再構成を行う。
近年、トランスフォーマーとグラフ畳み込みニューラルネットワーク(gcnn)は、ヒトのメッシュ再構成に有望な進歩を示している。
トランスフォーマーベースのアプローチは、3次元メッシュ頂点と身体関節の間の非局所的相互作用のモデル化に有効であるが、gcnnは予め特定されたメッシュトポロジーに基づいた近傍頂点相互作用の活用に優れている。
本稿では,グラフ畳み込みと自己アテンションを組み合わせて局所的相互作用と大域的相互作用をモデル化する方法について検討する。
実験の結果,提案手法であるMesh Graphormerは,Human3.6M, 3DPW, FreiHANDデータセットを含む複数のベンチマークにおいて,従来の最先端手法よりも大幅に優れていた。
関連論文リスト
- Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。
そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。
PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
論文 参考訳(メタデータ) (2024-07-26T06:29:09Z) - MaGS: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting [27.081250446161114]
本稿では,この課題に対処するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。
MaGSは、3Dガウス人がメッシュの近くで歩き回ることを制約し、相互に吸着されたメッシュ-ガウスの3D表現を生成する。
このような表現は、3Dガウスのレンダリングの柔軟性とメッシュの構造的特性の両方を利用する。
論文 参考訳(メタデータ) (2024-06-03T17:59:51Z) - Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T14:36:38Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T08:45:26Z) - K-Order Graph-oriented Transformer with GraAttention for 3D Pose and
Shape Estimation [20.711789781518753]
KOG-Transformer というグラフ構造データに対する2次元から3次元のポーズ推定ネットワークを提案する。
また,GASE-Netという手動データのための3次元ポーズ・ツー・シェイプ推定ネットワークを提案する。
論文 参考訳(メタデータ) (2022-08-24T06:54:03Z) - MUG: Multi-human Graph Network for 3D Mesh Reconstruction from 2D Pose [20.099670445427964]
単一の単分子画像からマルチヒューマンボディメッシュを再構築することは重要な問題であるが、コンピュータビジョンの問題である。
本研究では,単一グラフニューラルネットワークを用いて,マルチヒューマン2次元ポーズのみを入力として,コヒーレントなマルチヒューマンメッシュを構築する。
論文 参考訳(メタデータ) (2022-05-25T08:54:52Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳(メタデータ) (2021-12-14T13:14:24Z) - End-to-End Human Pose and Mesh Reconstruction with Transformers [17.75480888764098]
MEsh TRansfOrmer(METRO)と呼ばれる新しい方法で、単一の画像から3D人間のポーズとメッシュ頂点を再構築します。
METROはSMPLのようなパラメトリックメッシュモデルに依存しないので、手などの他のオブジェクトにも容易に拡張できる。
FreiHANDデータセット上の既存の最先端のメソッドを上回る、野生のMETROから3Dハンド再構築の汎用性を示す。
論文 参考訳(メタデータ) (2020-12-17T17:17:29Z) - Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。
提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。
メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
論文 参考訳(メタデータ) (2020-10-23T14:49:02Z) - Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action
Recognition [57.98278794950759]
グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。
本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。
提案手法を,現在最大規模の2つの3次元データセット上で評価する。
論文 参考訳(メタデータ) (2020-07-30T18:23:18Z) - Learning Nonparametric Human Mesh Reconstruction from a Single Image
without Ground Truth Meshes [56.27436157101251]
そこで本研究では,人間のメッシュ再構築を基礎となる真理メッシュを使わずに学習する手法を提案する。
これはグラフ畳み込みニューラルネットワーク(Graph CNN)の損失関数に2つの新しい用語を導入することで実現される。
論文 参考訳(メタデータ) (2020-02-28T20:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。