論文の概要: Spatio-temporal MLP-graph network for 3D human pose estimation
- arxiv url: http://arxiv.org/abs/2308.15313v1
- Date: Tue, 29 Aug 2023 14:00:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 13:54:11.349325
- Title: Spatio-temporal MLP-graph network for 3D human pose estimation
- Title（参考訳）: 3次元ポーズ推定のための時空間MLPグラフネットワーク
- Authors: Tanvir Hassan and A. Ben Hamza
- Abstract要約: グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。
暗黙の伝搬フェアリングを用いたグラフフィルタリングにより得られる新しい重み付きヤコビ特徴則を導入する。
また, 関節間の関係を学習するために, 隣接変調を用いた。
- 参考スコア（独自算出の注目度）: 8.267311047244881
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graph convolutional networks and their variants have shown significant
promise in 3D human pose estimation. Despite their success, most of these
methods only consider spatial correlations between body joints and do not take
into account temporal correlations, thereby limiting their ability to capture
relationships in the presence of occlusions and inherent ambiguity. To address
this potential weakness, we propose a spatio-temporal network architecture
composed of a joint-mixing multi-layer perceptron block that facilitates
communication among different joints and a graph weighted Jacobi network block
that enables communication among various feature channels. The major novelty of
our approach lies in a new weighted Jacobi feature propagation rule obtained
through graph filtering with implicit fairing. We leverage temporal information
from the 2D pose sequences, and integrate weight modulation into the model to
enable untangling of the feature transformations of distinct nodes. We also
employ adjacency modulation with the aim of learning meaningful correlations
beyond defined linkages between body joints by altering the graph topology
through a learnable modulation matrix. Extensive experiments on two benchmark
datasets demonstrate the effectiveness of our model, outperforming recent
state-of-the-art methods for 3D human pose estimation.
- Abstract（参考訳）: グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。
その成功にもかかわらず、これらの手法のほとんどは身体関節間の空間的相関のみを考慮し、時間的相関を考慮せず、咬合の存在下での関係を捉える能力と固有の曖昧さを制限している。
この潜在的な弱点に対処するために、異なる関節間の通信を容易にする多層パーセプトロンブロックと、様々な特徴チャネル間の通信を可能にするグラフ重み付きヤコビネットワークブロックからなる時空間ネットワークアーキテクチャを提案する。
提案手法の主な特徴は,グラフフィルタリングと暗黙的フェアリングにより得られる新しい重み付きヤコビ特徴伝播則である。
2次元ポーズ列からの時間的情報を利用し、重み変調をモデルに統合することで、異なるノードの特徴変換のアンバングを可能にする。
また, グラフトポロジを学習可能な変調行列を用いて変化させることにより, 体節間の連結関係を超えて有意な相関関係を学習することを目的として, 隣接変調を用いた。
2つのベンチマークデータセットに関する広範囲な実験によって、このモデルの有効性が示され、最近の3次元ポーズ推定の最先端手法を上回っている。
関連論文リスト
- Towards Robust and Realistic Human Pose Estimation via WiFi Signals [85.60557095666934]
WiFiベースの人間のポーズ推定は、離散的で微妙なWiFi信号を人間の骨格にブリッジする難しいタスクである。
本論文は,本問題を再検討し,(1)ドメイン間ギャップ,(2)ソース・ターゲット領域のポーズ分布の顕著な変化,(2)骨格のポーズが歪んだトポロジーを示す構造的フィデリティギャップ,の2つの重要な問題を明らかにする。
本稿では,タスクをDT-Poseと呼ばれる新しい2段階のフレームワークに書き換えることで,これらのギャップを埋める:ドメイン一貫性表現学習とトポロジ制約ポスデコーディング。
論文 参考訳（メタデータ） (2025-01-16T09:38:22Z) - 3D Hand Reconstruction via Aggregating Intra and Inter Graphs Guided by
Prior Knowledge for Hand-Object Interaction Scenario [8.364378460776832]
モデルベースおよびモデルフリーアプローチの利点を生かした3次元ハンドリコンストラクションネットワークを提案する。
まず,2次元関節から直接のMANOポーズパラメータ回帰モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-04T05:11:26Z) - Iterative Graph Filtering Network for 3D Human Pose Estimation [5.177947445379688]
グラフ畳み込みネットワーク(GCN)は3次元人間のポーズ推定に有効な手法であることが証明されている。
本稿では,3次元ポーズ推定のための反復グラフフィルタリングフレームワークを提案する。
我々のアプローチは、ラプラシア正規化によるグラフフィルタリングを反復的に解くという考え方に基づいている。
論文 参考訳（メタデータ） (2023-07-29T20:46:44Z) - Regular Splitting Graph Network for 3D Human Pose Estimation [5.177947445379688]
2次元から3次元の人間のポーズ推定のための高次正規分割グラフネットワーク(RS-Net)を提案する。
近年の3次元ポーズ推定における最先端手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2023-05-09T22:13:04Z) - (Fusionformer):Exploiting the Joint Motion Synergy with Fusion Network
Based On Transformer for 3D Human Pose Estimation [1.52292571922932]
多くの従来手法では、局所的な関節情報の理解が欠けていた。
提案手法では,グローバル・テンポラル・セルフ・トラジェクトリ・モジュールとクロス・テンポラル・セルフ・トラジェクトリ・モジュールを導入する。
その結果、Human3.6Mデータセットでは2.4%のMPJPEと4.3%のP-MPJPEが改善された。
論文 参考訳（メタデータ） (2022-10-08T12:22:10Z) - Skeleton-Parted Graph Scattering Networks for 3D Human Motion Prediction [120.08257447708503]
体-関節関係をモデル化するグラフ畳み込みネットワークに基づく手法は,最近3次元骨格に基づく人間の動作予測において大きな可能性を示唆している。
骨格分割グラフ散乱ネットワーク(SPGSN)を提案する。
SPGSNは、Human3.6M、CMU Mocap、および3DPWデータセット上で、関節位置誤差(MPJPE)当たりの3D平均の13.8%、9.3%、および2.7%の差で最先端の手法を上回っている。
論文 参考訳（メタデータ） (2022-07-31T05:51:39Z) - MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose
Estimation in Video [75.23812405203778]
近年, 学習時間相関のため, 全フレームのボディジョイントを世界規模で考慮し, 2次元キーポイントシーケンスから3次元人間のポーズを推定する手法が提案されている。
本研究では,各関節の時間的動きを別々にモデル化する時間的変圧器ブロックと,関節間空間相関を有する変圧器ブロックを有するミキシングミキシングを提案する。
さらに、ネットワーク出力は、中央フレームから入力ビデオの全フレームに拡張され、入力と出力のベンチマーク間のコヒーレンスが改善される。
論文 参考訳（メタデータ） (2022-03-02T04:20:59Z) - Spatio-Temporal Joint Graph Convolutional Networks for Traffic
Forecasting [75.10017445699532]
近年、時間グラフモデリング問題として交通予測の定式化に焦点が移っている。
本稿では,道路網における交通予測の精度向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2021-11-25T08:45:14Z) - Enhanced 3D Human Pose Estimation from Videos by using Attention-Based
Neural Network with Dilated Convolutions [12.900524511984798]
従来のネットワークや制約の形式が、どのように注意の枠組みに組み込むことができるのかを体系的な設計で示します。
拡張畳み込みのマルチスケール構造により,時間受容場を適応させることにより,これを実現する。
提案手法は,Human3.6Mデータセット上での関節位置誤差の平均を33.4mmに減らし,最先端性能を達成し,既存の手法よりも優れる。
論文 参考訳（メタデータ） (2021-03-04T17:26:51Z) - On the spatial attention in Spatio-Temporal Graph Convolutional Networks
for skeleton-based human action recognition [97.14064057840089]
カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。
最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
論文 参考訳（メタデータ） (2020-11-07T19:03:04Z) - Disentangling and Unifying Graph Convolutions for Skeleton-Based Action
Recognition [79.33539539956186]
本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。
これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-03-31T11:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。