論文の概要: HopFIR: Hop-wise GraphFormer with Intragroup Joint Refinement for 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2302.14581v3
• Date: Sat, 19 Aug 2023 14:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 01:37:10.343095
• Title: HopFIR: Hop-wise GraphFormer with Intragroup Joint Refinement for 3D Human Pose Estimation
• Title（参考訳）: hopfir: 3次元ポーズ推定のためのグループ内関節改良型ホップワイズグラフフォーマ
• Authors: Kai Zhai, Qiang Nie, Bo Ouyang, Xiang Li and Shanlin Yang
• Abstract要約: 本稿では,3次元ポーズ推定問題に対処するために,グループ内結合精細化(HopFIR)アーキテクチャを用いたホップワイズグラフフォーマーを提案する。 HopFIRは主に、新しいホップワイドグラフフォーマー(HGF)モジュールとグループ内共同改良(IJR)モジュールで構成されている。 HopFIRはHuman3.6Mデータセットの32.67mmに対して,平均結合位置誤差(MPJPE)でSOTA法よりも高い性能を示した。
• 参考スコア（独自算出の注目度）: 13.74063987230621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 2D-to-3D human pose lifting is fundamental for 3D human pose estimation (HPE), for which graph convolutional networks (GCNs) have proven inherently suitable for modeling the human skeletal topology. However, the current GCN-based 3D HPE methods update the node features by aggregating their neighbors' information without considering the interaction of joints in different joint synergies. Although some studies have proposed importing limb information to learn the movement patterns, the latent synergies among joints, such as maintaining balance are seldom investigated. We propose the Hop-wise GraphFormer with Intragroup Joint Refinement (HopFIR) architecture to tackle the 3D HPE problem. HopFIR mainly consists of a novel hop-wise GraphFormer (HGF) module and an intragroup joint refinement (IJR) module. The HGF module groups the joints by k-hop neighbors and applies a hopwise transformer-like attention mechanism to these groups to discover latent joint synergies. The IJR module leverages the prior limb information for peripheral joint refinement. Extensive experimental results show that HopFIR outperforms the SOTA methods by a large margin, with a mean per-joint position error (MPJPE) on the Human3.6M dataset of 32.67 mm. We also demonstrate that the state-of-the-art GCN-based methods can benefit from the proposed hop-wise attention mechanism with a significant improvement in performance: SemGCN and MGCN are improved by 8.9% and 4.5%, respectively.
• Abstract（参考訳）: 2次元から3次元の人間のポーズリフトは、人間の骨格トポロジーをモデル化するのに本質的に適していることが証明された3次元人間のポーズ推定(HPE)の基礎である。 しかし、現在のGCNベースの3D HPE法は、異なる関節シナジーにおける関節の相互作用を考慮せずに、隣人の情報を集約することでノードの特徴を更新する。 運動パターンを学ぶために肢情報をインポートすることを提案した研究もあるが、バランスの維持など関節間の潜在シナジーはほとんど研究されていない。 3次元hpe問題に取り組むために,グループ内ジョイントリファインメント(hopfir)アーキテクチャを用いたホップワイズグラフフォーマを提案する。 HopFIRは主に、新しいホップワイドグラフフォーマー(HGF)モジュールとグループ内共同改良(IJR)モジュールで構成されている。 HGF加群は、結合をkホップ隣人によってグループ化し、これらの群にホップワイズトランスフォーマーのような注意機構を適用して、潜在的な関節シナジーを発見する。 IJRモジュールは、前肢情報を周辺関節改善に活用する。 大規模な実験結果から、HopFIRはHuman3.6Mデータセットの32.67mmの平均結合位置誤差(MPJPE)でSOTA法よりも高い性能を示した。 また,最先端のgcnベースの手法は,segcnとmgcnがそれぞれ8.9%,4.5%改善され,性能が大幅に向上したホップワイズアテンション機構の恩恵を受けることを示した。

関連論文リスト

• Spatio-temporal MLP-graph network for 3D human pose estimation [8.267311047244881]
  グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。 暗黙の伝搬フェアリングを用いたグラフフィルタリングにより得られる新しい重み付きヤコビ特徴則を導入する。 また, 関節間の関係を学習するために, 隣接変調を用いた。
  論文  参考訳（メタデータ） (2023-08-29T14:00:55Z)
• Iterative Graph Filtering Network for 3D Human Pose Estimation [5.177947445379688]
  グラフ畳み込みネットワーク(GCN)は3次元人間のポーズ推定に有効な手法であることが証明されている。 本稿では,3次元ポーズ推定のための反復グラフフィルタリングフレームワークを提案する。 我々のアプローチは、ラプラシア正規化によるグラフフィルタリングを反復的に解くという考え方に基づいている。
  論文  参考訳（メタデータ） (2023-07-29T20:46:44Z)
• Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation [51.00725889172323]
  本研究では,3次元ポーズ推定のための不確実性ガイド付き多目的変換器(POT)を提案する。 我々はまず,人骨のトポロジーを明示的に活用するために,新しいポーズ指向の自己注意機構と距離関連位置埋め込みを開発した。 本稿では,特に難解な関節に対するPOTからのポーズ予測を洗練させるために,不確実性誘導型リファインメントネットワーク(UGRN)を提案する。
  論文  参考訳（メタデータ） (2023-02-15T00:22:02Z)
• AMPose: Alternately Mixed Global-Local Attention Model for 3D Human Pose Estimation [2.9823712604345993]
  本研究では,3次元ポーズ推定に向けて,関節のグローバルな関係と物理的関係を結合する新しい手法を提案する。 AMPoseでは、トランスフォーマーエンコーダが各ジョイントを他のジョイントと接続するために適用され、GCNは物理的に接続された関係に関する情報を取得するために使用される。 また,MPI-INF-3DHPデータセットを用いて,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2022-10-09T10:10:13Z)
• (Fusionformer):Exploiting the Joint Motion Synergy with Fusion Network Based On Transformer for 3D Human Pose Estimation [1.52292571922932]
  多くの従来手法では、局所的な関節情報の理解が欠けていた。 提案手法では,グローバル・テンポラル・セルフ・トラジェクトリ・モジュールとクロス・テンポラル・セルフ・トラジェクトリ・モジュールを導入する。 その結果、Human3.6Mデータセットでは2.4%のMPJPEと4.3%のP-MPJPEが改善された。
  論文  参考訳（メタデータ） (2022-10-08T12:22:10Z)
• Skeleton-Parted Graph Scattering Networks for 3D Human Motion Prediction [120.08257447708503]
  体-関節関係をモデル化するグラフ畳み込みネットワークに基づく手法は,最近3次元骨格に基づく人間の動作予測において大きな可能性を示唆している。 骨格分割グラフ散乱ネットワーク(SPGSN)を提案する。 SPGSNは、Human3.6M、CMU Mocap、および3DPWデータセット上で、関節位置誤差(MPJPE)当たりの3D平均の13.8%、9.3%、および2.7%の差で最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2022-07-31T05:51:39Z)
• MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose Estimation in Video [75.23812405203778]
  近年, 学習時間相関のため, 全フレームのボディジョイントを世界規模で考慮し, 2次元キーポイントシーケンスから3次元人間のポーズを推定する手法が提案されている。 本研究では,各関節の時間的動きを別々にモデル化する時間的変圧器ブロックと,関節間空間相関を有する変圧器ブロックを有するミキシングミキシングを提案する。 さらに、ネットワーク出力は、中央フレームから入力ビデオの全フレームに拡張され、入力と出力のベンチマーク間のコヒーレンスが改善される。
  論文  参考訳（メタデータ） (2022-03-02T04:20:59Z)
• An Adversarial Human Pose Estimation Network Injected with Graph Structure [75.08618278188209]
  本稿では,いくつかの関節が見えない場合に,可視関節の局所化精度を向上させるために,新しいGAN(Generative Adversarial Network)を設計する。 ネットワークは、2つのシンプルで効率的なモジュール、カスケード機能ネットワーク(CFN)とグラフ構造ネットワーク(GSN)で構成されています。
  論文  参考訳（メタデータ） (2021-03-29T12:07:08Z)
• HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose and Shape Estimation [60.35776484235304]
  本研究は, 中間状態部分熱マップトリプレット(HEMlets)を導入し, 検出された2次元関節を三次元空間に持ち上げる不確実性に対処しようとするものである。 HEMletsは3つのジョイントヒートマップを使用して、各骨格体部に対するエンドジョイントの相対的な深さ情報を表す。 Convolutional Network (ConvNet) は、入力画像からHEMletを予測し、次にボリュームのジョイント・ヒートマップレグレッションを学習する。
  論文  参考訳（メタデータ） (2020-03-10T04:03:45Z)
• Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition [92.99291528676021]
  3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。 私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。 我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
  論文  参考訳（メタデータ） (2020-02-24T15:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。