論文の概要: GraFormer: Graph Convolution Transformer for 3D Pose Estimation
- arxiv url: http://arxiv.org/abs/2109.08364v1
- Date: Fri, 17 Sep 2021 06:00:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-20 14:40:04.601327
- Title: GraFormer: Graph Convolution Transformer for 3D Pose Estimation
- Title(参考訳): GraFormer: 3D Pose推定のためのグラフ畳み込み変換器
- Authors: Weixi Zhao and Yunjie Tian and Qixiang Ye and Jianbin Jiao and
Weiqiang Wang
- Abstract要約: GraFormerは3次元ポーズ推定のためのグラフ畳み込みと組み合わせた新しいトランスフォーマーアーキテクチャである。
GraAttentionはグラフ構造情報を弱めることなく、すべての2次元関節が大域的受容界で相互作用することを可能にする。
ChebGConvブロックは2次元関節を高次球で相互作用させ、隠れた暗黙の関係を定式化する。
- 参考スコア(独自算出の注目度): 48.59145057033916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exploiting relations among 2D joints plays a crucial role yet remains
semi-developed in 2D-to-3D pose estimation. To alleviate this issue, we propose
GraFormer, a novel transformer architecture combined with graph convolution for
3D pose estimation. The proposed GraFormer comprises two repeatedly stacked
core modules, GraAttention and ChebGConv block. GraAttention enables all 2D
joints to interact in global receptive field without weakening the graph
structure information of joints, which introduces vital features for later
modules. Unlike vanilla graph convolutions that only model the apparent
relationship of joints, ChebGConv block enables 2D joints to interact in the
high-order sphere, which formulates their hidden implicit relations. We
empirically show the superiority of GraFormer through conducting extensive
experiments across popular benchmarks. Specifically, GraFormer outperforms
state of the art on Human3.6M dataset while using 18$\%$ parameters. The code
is available at https://github.com/Graformer/GraFormer .
- Abstract(参考訳): 2次元関節間の関係の活用は重要な役割を担っているが、2次元から3次元のポーズ推定において半発達したままである。
そこで本稿では, 3次元ポーズ推定のためのグラフ畳み込みを組み合わせた新しいトランスフォーマーであるgraformerを提案する。
提案されたGraFormerは、2つの繰り返し積み重ねられたコアモジュール、GraAttentionとChebGConvブロックで構成されている。
GraAttentionは、すべての2次元関節が、後のモジュールに不可欠な特徴をもたらすジョイントのグラフ構造情報を弱めることなく、大域的受容領域で相互作用することができる。
接合の明らかな関係をモデル化するバニラグラフの畳み込みとは異なり、ChebGConvブロックは2次元関節を高次球面で相互作用させ、それらの暗黙の関係を定式化する。
GraFormerの優位性を実証的に示すために、人気のあるベンチマークにまたがって広範な実験を行った。
具体的には、GraFormerは18$\%$パラメータを使用しながら、Human3.6Mデータセットのテクニックの状態を上回ります。
コードはhttps://github.com/graformer/graformerで入手できる。
関連論文リスト
- Bridging the Gap between 2D and 3D Visual Question Answering: A Fusion
Approach for 3D VQA [6.697298321551588]
3D Visual Question Answering (3D VQA)では、完全注釈付きデータの不足と視覚内容の多様性が、新しいシーンや3Dコンセプトへの一般化を妨げている。
本稿では,重要な視覚的手がかりに対する意味的関連2次元入力をピンポイントする質問条件付き2次元ビュー選択手法を提案する。
次に、この2D知識を2分岐トランスフォーマー構造を介して3D-VQAシステムに統合する。
論文 参考訳(メタデータ) (2024-02-24T23:31:34Z) - MotionAGFormer: Enhancing 3D Human Pose Estimation with a
Transformer-GCNFormer Network [2.7268855969580166]
本稿では、2つの並列トランスとGCNFormerストリームを用いてチャネル数を分割する新しいAttention-GCNFormerブロックを提案する。
提案するGCNFormerモジュールは, 隣接する接合部間の局所的関係を利用して, トランス出力を補完する新しい表現を出力する。
我々は、Human3.6MとMPI-INF-3DHPの2つの人気のあるベンチマークデータセットでモデルを評価する。
論文 参考訳(メタデータ) (2023-10-25T01:46:35Z) - PoseGraphNet++: Enriching 3D Human Pose with Orientation Estimation [49.17942879643764]
既存の骨格に基づく人間のポーズ推定法は関節位置のみを予測する。
本稿では,PoseGraphNet++という2D-to-3Dリフト型グラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-22T13:42:15Z) - Invariant Training 2D-3D Joint Hard Samples for Few-Shot Point Cloud
Recognition [108.07591240357306]
我々は,従来の3次元モデルとよく訓練された2次元モデルとの合同予測を用いて,少数の3次元物体の雲認識におけるデータ不足問題に取り組む。
異なるラベルに対して高い信頼性の予測を行う'結合型ハードサンプル'のトレーニングは、クラックがより効果的でないことが分かりました。
InvJointと呼ばれる提案した不変トレーニング戦略は、ハードサンプルに重点を置いているだけでなく、矛盾する2Dと3Dの不明瞭な予測の相違も求めている。
論文 参考訳(メタデータ) (2023-08-18T17:43:12Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z) - Unified 2D and 3D Pre-Training of Molecular Representations [237.36667670201473]
統合された2次元および3次元事前学習に基づく新しい表現学習法を提案する。
原子座標と原子間距離は符号化され、グラフニューラルネットワークを介して原子表現と融合する。
提案手法は10タスクの最先端化を実現し、2Dのみのタスクの平均改善率は8.3%である。
論文 参考訳(メタデータ) (2022-07-14T11:36:56Z) - A hybrid classification-regression approach for 3D hand pose estimation
using graph convolutional networks [1.0152838128195467]
目的ごとの関係制約を学習する2段階のGCNベースのフレームワークを提案する。
第1フェーズは2D/3D空間を量子化し、その局所性に基づいて関節を2D/3Dブロックに分類する。
第2段階ではGCNベースのモジュールを使用し、隣り合う適応アルゴリズムを用いて関節関係を決定する。
論文 参考訳(メタデータ) (2021-05-23T10:09:10Z) - HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation
ofHands and Object in Interaction [33.661745138578596]
単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。
本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。
これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
論文 参考訳(メタデータ) (2021-04-29T20:19:20Z) - Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。
当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
論文 参考訳(メタデータ) (2020-08-24T21:51:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。