論文の概要: Space-Time-Separable Graph Convolutional Network for Pose Forecasting

• arxiv url: http://arxiv.org/abs/2110.04573v1
• Date: Sat, 9 Oct 2021 13:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 17:32:58.405298
• Title: Space-Time-Separable Graph Convolutional Network for Pose Forecasting
• Title（参考訳）: ポーズ予測のための時空分離グラフ畳み込みネットワーク
• Authors: Theodoros Sofianos, Alessio Sampieri, Luca Franco and Fabio Galasso
• Abstract要約: STS-GCNは、グラフ畳み込みネットワーク(GCN)でのみ人間のポーズダイナミクスをモデル化する 時空グラフ接続は空間と時間親和性に分解され、時空のクロストークをボトルネックにするとともに、完全結合と時間-時間相関を可能にする。
• 参考スコア（独自算出の注目度）: 3.6417475195085602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human pose forecasting is a complex structured-data sequence-modelling task, which has received increasing attention, also due to numerous potential applications. Research has mainly addressed the temporal dimension as time series and the interaction of human body joints with a kinematic tree or by a graph. This has decoupled the two aspects and leveraged progress from the relevant fields, but it has also limited the understanding of the complex structural joint spatio-temporal dynamics of the human pose. Here we propose a novel Space-Time-Separable Graph Convolutional Network (STS-GCN) for pose forecasting. For the first time, STS-GCN models the human pose dynamics only with a graph convolutional network (GCN), including the temporal evolution and the spatial joint interaction within a single-graph framework, which allows the cross-talk of motion and spatial correlations. Concurrently, STS-GCN is the first space-time-separable GCN: the space-time graph connectivity is factored into space and time affinity matrices, which bottlenecks the space-time cross-talk, while enabling full joint-joint and time-time correlations. Both affinity matrices are learnt end-to-end, which results in connections substantially deviating from the standard kinematic tree and the linear-time time series. In experimental evaluation on three complex, recent and large-scale benchmarks, Human3.6M [Ionescu et al. TPAMI'14], AMASS [Mahmood et al. ICCV'19] and 3DPW [Von Marcard et al. ECCV'18], STS-GCN outperforms the state-of-the-art, surpassing the current best technique [Mao et al. ECCV'20] by over 32% in average at the most difficult long-term predictions, while only requiring 1.7% of its parameters. We explain the results qualitatively and illustrate the graph interactions by the factored joint-joint and time-time learnt graph connections. Our source code is available at: https://github.com/FraLuca/STSGCN
• Abstract（参考訳）: 人間のポーズ予測は複雑な構造化データシーケンスモデリングタスクであり、多くの潜在的な応用によって注目を集めている。 研究は主に時系列としての時間次元と人体関節とキネマティックツリー、あるいはグラフによる相互作用に対処してきた。 これは2つの側面を分離し、関連する分野からの進歩を生かしているが、人間のポーズの複雑な構造的関節時相ダイナミクスの理解も制限されている。 本稿では、ポーズ予測のための新しい時分割グラフ畳み込みネットワーク(STS-GCN)を提案する。 STS-GCNは初めて、時間的進化を含むグラフ畳み込みネットワーク(GCN)でのみ人間のポーズのダイナミクスをモデル化し、単一のグラフフレームワーク内での空間的関節相互作用をモデル化し、動きと空間的相関のクロストークを可能にした。 同時に、STS-GCNは最初の時空分離可能なGCNであり、時空間グラフ接続は時空間親和性行列に分解される。 両方の親和性行列はエンドツーエンドで学習され、標準キネマティックツリーと線形時間時系列から大きく逸脱する。 ヒト3.6m [ionescu et al. tpami'14], amass [mahmood et al. iccv'19], 3dpw [von marcard et al. eccv'18], sts-gcn の3つのコンプレックス, 最近の大規模ベンチマークの実験的評価では, 現在の最高の手法 [mao et al. eccv'20] を最も難しい長期予測で平均32%以上上回り, パラメータの1.7%しか必要としなかった。 結果の質的説明とグラフの相互作用を因子付きジョイントおよび時間学習グラフ接続を用いて説明する。 ソースコードはhttps://github.com/fraluca/stsgcn.com/で入手できる。

関連論文リスト

• Mending of Spatio-Temporal Dependencies in Block Adjacency Matrix [3.529869282529924]
  本稿では,時間的依存を考慮に入れた新たなエンドツーエンド学習アーキテクチャを提案する。 提案手法は,SurgVisDomやC2D2などのベンチマークデータセット上での優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-04T06:42:33Z)
• Multi-Graph Convolution Network for Pose Forecasting [0.8057006406834467]
  本稿では,3次元ポーズ予測のための多グラフ畳み込みネットワーク(MGCN)を提案する。 MGCNは、ポーズシーケンスのための拡張グラフを導入することで、空間情報と時間情報を同時にキャプチャする。 評価では,MGCNはポーズ予測において最先端の予測よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-11T03:59:43Z)
• Spatial-Temporal Gating-Adjacency GCN for Human Motion Prediction [14.42671575251554]
  本稿では,多様な行動型に対する複雑な時空間依存性を学習するために,時空間ゲーティング・アジャシエイトGCNを提案する。 GAGCNは短期および長期の予測において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2022-03-03T01:20:24Z)
• Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
  動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。 具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。 そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
  論文  参考訳（メタデータ） (2022-02-17T02:17:31Z)
• Spatio-Temporal Joint Graph Convolutional Networks for Traffic Forecasting [75.10017445699532]
  近年、時間グラフモデリング問題として交通予測の定式化に焦点が移っている。 本稿では,道路網における交通予測の精度向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-25T08:45:14Z)
• Multiscale Spatio-Temporal Graph Neural Networks for 3D Skeleton-Based Motion Prediction [92.16318571149553]
  本稿では,次世代の3次元骨格型人間のポーズを予測するため,マルチスケール・テンポラルグラフニューラルネットワーク(MST-GNN)を提案する。 MST-GNNは、短期および長期の動作予測において最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-25T14:05:37Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition [97.14064057840089]
  カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。 最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
  論文  参考訳（メタデータ） (2020-11-07T19:03:04Z)
• Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition [79.33539539956186]
  本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。 これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-31T11:28:25Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。