論文の概要: HopFIR: Hop-wise GraphFormer with Intragroup Joint Refinement for 3D
Human Pose Estimation
- arxiv url: http://arxiv.org/abs/2302.14581v1
- Date: Tue, 28 Feb 2023 14:03:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 16:26:11.296818
- Title: HopFIR: Hop-wise GraphFormer with Intragroup Joint Refinement for 3D
Human Pose Estimation
- Title（参考訳）: hopfir: 3次元ポーズ推定のためのグループ内関節改良型ホップワイズグラフフォーマ
- Authors: Kai Zhai, Qiang Nie, Bo Ouyang, Xiang Li and ShanLin Yang
- Abstract要約: 本稿では,グループ内共同改良(HopFIR)を施したホップワイドグラフフォーマーを提案する。
HopFIRは、ジョイントを$k$-hopの隣人によってグループ化し、ホップワイドトランスフォーマーのようなアテンション機構を用いて潜在関節のシナジーを発見する。
- 参考スコア（独自算出の注目度）: 11.974198811434086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 2D-to-3D human pose lifting is fundamental for 3D human pose estimation
(HPE). Graph Convolutional Network (GCN) has been proven inherently suitable to
model the human skeletal topology. However, current GCN-based 3D HPE methods
update the node features by aggregating their neighbors' information without
considering the interaction of joints in different motion patterns. Although
some studies import limb information to learn the movement patterns, the latent
synergies among joints, such as maintaining balance in the motion are seldom
investigated. We propose a hop-wise GraphFormer with intragroup joint
refinement (HopFIR) to tackle the 3D HPE problem. The HopFIR mainly consists of
a novel Hop-wise GraphFormer(HGF) module and an Intragroup Joint
Refinement(IJR) module which leverages the prior limb information for
peripheral joints refinement. The HGF module groups the joints by $k$-hop
neighbors and utilizes a hop-wise transformer-like attention mechanism among
these groups to discover latent joint synergy. Extensive experimental results
show that HopFIR outperforms the SOTA methods with a large margin (on the
Human3.6M dataset, the mean per joint position error (MPJPE) is 32.67mm).
Furthermore, it is also demonstrated that previous SOTA GCN-based methods can
benefit from the proposed hop-wise attention mechanism efficiently with
significant performance promotion, such as SemGCN and MGCN are improved by 8.9%
and 4.5%, respectively.
- Abstract（参考訳）: 2次元から3次元のポーズリフトは3次元のポーズ推定(HPE)の基礎となる。
グラフ畳み込みネットワーク(gcn)は、本質的にヒト骨格トポロジーのモデル化に適していることが証明されている。
しかし、現在のGCNベースの3D HPE法は、異なる動作パターンの関節の相互作用を考慮せずに、隣人の情報を集約することでノードの特徴を更新する。
運動パターンを学ぶために手足情報をインポートする研究もあるが、運動のバランスを維持するなど関節間の潜伏したシナジーはほとんど調べられていない。
3次元hpe問題に取り組むために,グループ内ジョイントリファインメント(hopfir)を用いたホップワイズグラフフォーマを提案する。
HopFIRは主に、新しいホップワイドグラフフォーマー(HGF)モジュールと、周辺関節改善のための前肢情報を利用するグループ内関節リファインメント(IJR)モジュールで構成されている。
hgfモジュールはジョイントをk$-hop近傍でグループ化し、これらのグループの中でホップワイズトランスフォーマーのような注意機構を利用して潜在的なジョイントシナジーを発見する。
大規模な実験の結果、HopFIRはSOTA法よりも大きなマージンを持つ(Human3.6Mデータセットでは、関節位置誤差の平均は32.67mm)。
また,従来のsoma gcnベースの手法では,semcnやmgcnなどの性能向上効果をそれぞれ8.9%,4.5%向上させ,ホップワイズアテンション機構を効率的に活用できることが実証された。
関連論文リスト
- Spatio-temporal MLP-graph network for 3D human pose estimation [8.267311047244881]
グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。
暗黙の伝搬フェアリングを用いたグラフフィルタリングにより得られる新しい重み付きヤコビ特徴則を導入する。
また, 関節間の関係を学習するために, 隣接変調を用いた。
論文 参考訳（メタデータ） (2023-08-29T14:00:55Z) - Iterative Graph Filtering Network for 3D Human Pose Estimation [5.177947445379688]
グラフ畳み込みネットワーク(GCN)は3次元人間のポーズ推定に有効な手法であることが証明されている。
本稿では,3次元ポーズ推定のための反復グラフフィルタリングフレームワークを提案する。
我々のアプローチは、ラプラシア正規化によるグラフフィルタリングを反復的に解くという考え方に基づいている。
論文 参考訳（メタデータ） (2023-07-29T20:46:44Z) - Pose-Oriented Transformer with Uncertainty-Guided Refinement for
2D-to-3D Human Pose Estimation [51.00725889172323]
本研究では,3次元ポーズ推定のための不確実性ガイド付き多目的変換器(POT)を提案する。
我々はまず,人骨のトポロジーを明示的に活用するために,新しいポーズ指向の自己注意機構と距離関連位置埋め込みを開発した。
本稿では,特に難解な関節に対するPOTからのポーズ予測を洗練させるために,不確実性誘導型リファインメントネットワーク(UGRN)を提案する。
論文 参考訳（メタデータ） (2023-02-15T00:22:02Z) - AMPose: Alternately Mixed Global-Local Attention Model for 3D Human Pose
Estimation [2.9823712604345993]
本研究では,3次元ポーズ推定に向けて,関節のグローバルな関係と物理的関係を結合する新しい手法を提案する。
AMPoseでは、トランスフォーマーエンコーダが各ジョイントを他のジョイントと接続するために適用され、GCNは物理的に接続された関係に関する情報を取得するために使用される。
また,MPI-INF-3DHPデータセットを用いて,より優れた一般化能力を示す。
論文 参考訳（メタデータ） (2022-10-09T10:10:13Z) - (Fusionformer):Exploiting the Joint Motion Synergy with Fusion Network
Based On Transformer for 3D Human Pose Estimation [1.52292571922932]
多くの従来手法では、局所的な関節情報の理解が欠けていた。
提案手法では,グローバル・テンポラル・セルフ・トラジェクトリ・モジュールとクロス・テンポラル・セルフ・トラジェクトリ・モジュールを導入する。
その結果、Human3.6Mデータセットでは2.4%のMPJPEと4.3%のP-MPJPEが改善された。
論文 参考訳（メタデータ） (2022-10-08T12:22:10Z) - Skeleton-Parted Graph Scattering Networks for 3D Human Motion Prediction [120.08257447708503]
体-関節関係をモデル化するグラフ畳み込みネットワークに基づく手法は,最近3次元骨格に基づく人間の動作予測において大きな可能性を示唆している。
骨格分割グラフ散乱ネットワーク(SPGSN)を提案する。
SPGSNは、Human3.6M、CMU Mocap、および3DPWデータセット上で、関節位置誤差(MPJPE)当たりの3D平均の13.8%、9.3%、および2.7%の差で最先端の手法を上回っている。
論文 参考訳（メタデータ） (2022-07-31T05:51:39Z) - MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose
Estimation in Video [75.23812405203778]
近年, 学習時間相関のため, 全フレームのボディジョイントを世界規模で考慮し, 2次元キーポイントシーケンスから3次元人間のポーズを推定する手法が提案されている。
本研究では,各関節の時間的動きを別々にモデル化する時間的変圧器ブロックと,関節間空間相関を有する変圧器ブロックを有するミキシングミキシングを提案する。
さらに、ネットワーク出力は、中央フレームから入力ビデオの全フレームに拡張され、入力と出力のベンチマーク間のコヒーレンスが改善される。
論文 参考訳（メタデータ） (2022-03-02T04:20:59Z) - An Adversarial Human Pose Estimation Network Injected with Graph
Structure [75.08618278188209]
本稿では,いくつかの関節が見えない場合に,可視関節の局所化精度を向上させるために,新しいGAN(Generative Adversarial Network)を設計する。
ネットワークは、2つのシンプルで効率的なモジュール、カスケード機能ネットワーク(CFN)とグラフ構造ネットワーク(GSN)で構成されています。
論文 参考訳（メタデータ） (2021-03-29T12:07:08Z) - HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose
and Shape Estimation [60.35776484235304]
本研究は, 中間状態部分熱マップトリプレット(HEMlets)を導入し, 検出された2次元関節を三次元空間に持ち上げる不確実性に対処しようとするものである。
HEMletsは3つのジョイントヒートマップを使用して、各骨格体部に対するエンドジョイントの相対的な深さ情報を表す。
Convolutional Network (ConvNet) は、入力画像からHEMletを予測し、次にボリュームのジョイント・ヒートマップレグレッションを学習する。
論文 参考訳（メタデータ） (2020-03-10T04:03:45Z) - Anatomy-aware 3D Human Pose Estimation with Bone-based Pose
Decomposition [92.99291528676021]
3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。
私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。
我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
論文 参考訳（メタデータ） (2020-02-24T15:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。