論文の概要: Jointformer: Single-Frame Lifting Transformer with Error Prediction and
Refinement for 3D Human Pose Estimation
- arxiv url: http://arxiv.org/abs/2208.03704v1
- Date: Sun, 7 Aug 2022 12:07:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 13:18:45.764980
- Title: Jointformer: Single-Frame Lifting Transformer with Error Prediction and
Refinement for 3D Human Pose Estimation
- Title（参考訳）: ジョイントフォーマー:3次元人物位置推定のための誤差予測・補正付き単フレームリフティングトランス
- Authors: Sebastian Lutz and Richard Blythman and Koustav Ghosal and Matthew
Moynihan and Ciaran Simms and Aljosa Smolic
- Abstract要約: 人間の3次元ポーズ推定技術は、人間の動きデータの可用性を大幅に向上させる可能性がある。
シングルイメージ2D-3Dリフトの最高の性能モデルは、通常、異なる体節間の関係を定義するために手動入力を必要とするグラフ畳み込みネットワーク(GCN)を使用する。
より一般化された自己認識機構を用いてこれらの関係を学習するトランスフォーマーに基づく新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 11.592567773739407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Monocular 3D human pose estimation technologies have the potential to greatly
increase the availability of human movement data. The best-performing models
for single-image 2D-3D lifting use graph convolutional networks (GCNs) that
typically require some manual input to define the relationships between
different body joints. We propose a novel transformer-based approach that uses
the more generalised self-attention mechanism to learn these relationships
within a sequence of tokens representing joints. We find that the use of
intermediate supervision, as well as residual connections between the stacked
encoders benefits performance. We also suggest that using error prediction as
part of a multi-task learning framework improves performance by allowing the
network to compensate for its confidence level. We perform extensive ablation
studies to show that each of our contributions increases performance.
Furthermore, we show that our approach outperforms the recent state of the art
for single-frame 3D human pose estimation by a large margin. Our code and
trained models are made publicly available on Github.
- Abstract（参考訳）: 単眼の3次元ポーズ推定技術は、人間の動きデータを大幅に増加させる可能性がある。
シングルイメージ2D-3Dリフトの最高の性能モデルは、通常、異なる体節間の関係を定義するために手動入力を必要とするグラフ畳み込みネットワーク(GCN)を使用する。
本稿では,より一般化された自己着脱機構を用いて,関節を表すトークン列内でこれらの関係を学習するトランスフォーマティブ・アプローチを提案する。
また, 中間管理と, エンコーダ間の残余接続は, 性能に有益であることがわかった。
また、マルチタスク学習フレームワークの一部としてエラー予測を使用することで、ネットワークが信頼性レベルを補うことで性能を向上させることも提案する。
それぞれのコントリビューションがパフォーマンスを向上させることを示すために、広範なアブレーション研究を行います。
さらに,このアプローチは,単眼3次元人物ポーズ推定における最近の技術水準を,大きなマージンで上回っていることを示す。
私たちのコードとトレーニングされたモデルはgithubで公開されている。
関連論文リスト
- Double-chain Constraints for 3D Human Pose Estimation in Images and
Videos [21.42410292863492]
深度情報を欠く2次元のポーズから3Dのポーズを再構築することは、人間の動きの複雑さと多様性のために困難である。
ポーズを制約する新しいモデルであるDouble-chain Graph Convolutional Transformer (DC-GCT)を提案する。
本稿では,DC-GCTが2つの挑戦的データセットに対して最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2023-08-10T02:41:18Z) - STPOTR: Simultaneous Human Trajectory and Pose Prediction Using a
Non-Autoregressive Transformer for Robot Following Ahead [8.227864212055035]
観測された人間の動作履歴から将来の人間の動作を予測するニューラルネットワークモデルを開発した。
本研究では,自動回帰トランスフォーマアーキテクチャを提案し,その並列特性を利用して,テスト時の高速かつ高精度な予測を行う。
我々のモデルは、最先端の手法に関して、テスト精度と速度の観点からロボット応用に適している。
論文 参考訳（メタデータ） (2022-09-15T20:27:54Z) - Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose
Estimation [63.199549837604444]
3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。
我々は3Dポーズ学習を,ラベル付きソースドメインから完全に損なわれないターゲットへのタスク知識の転送を目的とした,自己指導型適応問題として捉えた。
我々は、異なる自己適応設定を評価し、標準ベンチマークで最先端の3Dポーズ推定性能を示す。
論文 参考訳（メタデータ） (2022-04-05T03:52:57Z) - 3D Pose Estimation and Future Motion Prediction from 2D Images [26.28886209268217]
本稿では,3次元人物のポーズを推定し,RGB画像列から将来の3次元動作を予測するという,高相関な課題に共同で取り組むことを検討する。
リー代数のポーズ表現に基づいて、人間の運動キネマティクスを自然に保存する新しい自己投射機構が提案されている。
論文 参考訳（メタデータ） (2021-11-26T01:02:00Z) - Higher-Order Implicit Fairing Networks for 3D Human Pose Estimation [1.1501261942096426]
2次元から3次元のポーズ推定のための初期残差接続を持つ高階グラフ畳み込みフレームワークを提案する。
我々のモデルは、体節間の長距離依存関係を捉えることができる。
2つの標準ベンチマークで行った実験と改善研究は、我々のモデルの有効性を実証した。
論文 参考訳（メタデータ） (2021-11-01T13:48:55Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳（メタデータ） (2020-10-27T03:31:35Z) - Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。
我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。
ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
論文 参考訳（メタデータ） (2020-08-04T07:54:25Z) - HMOR: Hierarchical Multi-Person Ordinal Relations for Monocular
Multi-Person 3D Pose Estimation [54.23770284299979]
本稿では, 階層型多人数常連関係(HMOR)を新たに導入する。
HMORは相互作用情報を階層的に深さと角度の順序関係として符号化する。
統合トップダウンモデルは、学習プロセスにおけるこれらの順序関係を活用するように設計されている。
提案手法は, 公開されている多人数の3Dポーズデータセットにおいて, 最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2020-08-01T07:53:27Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳（メタデータ） (2020-06-24T23:56:33Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳（メタデータ） (2020-04-09T07:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。