論文の概要: Global-local Motion Transformer for Unsupervised Skeleton-based Action
Learning
- arxiv url: http://arxiv.org/abs/2207.06101v1
- Date: Wed, 13 Jul 2022 10:18:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-14 12:27:01.198535
- Title: Global-local Motion Transformer for Unsupervised Skeleton-based Action
Learning
- Title(参考訳): 教師なし骨格学習のためのグローバル局所運動変換器
- Authors: Boeun Kim, Hyung Jin Chang, Jungho Kim, and Jin Young Choi
- Abstract要約: 骨格運動系列の教師なし学習のための新しいトランスフォーマーモデルを提案する。
提案モデルでは, 関節の局所力学を学習し, 動き列から大域的文脈を捉える。
- 参考スコア(独自算出の注目度): 23.051184131833292
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We propose a new transformer model for the task of unsupervised learning of
skeleton motion sequences. The existing transformer model utilized for
unsupervised skeleton-based action learning is learned the instantaneous
velocity of each joint from adjacent frames without global motion information.
Thus, the model has difficulties in learning the attention globally over
whole-body motions and temporally distant joints. In addition, person-to-person
interactions have not been considered in the model. To tackle the learning of
whole-body motion, long-range temporal dynamics, and person-to-person
interactions, we design a global and local attention mechanism, where, global
body motions and local joint motions pay attention to each other. In addition,
we propose a novel pretraining strategy, multi-interval pose displacement
prediction, to learn both global and local attention in diverse time ranges.
The proposed model successfully learns local dynamics of the joints and
captures global context from the motion sequences. Our model outperforms
state-of-the-art models by notable margins in the representative benchmarks.
Codes are available at https://github.com/Boeun-Kim/GL-Transformer.
- Abstract(参考訳): 本研究では,骨格運動列の教師なし学習タスクのための新しいトランスフォーマーモデルを提案する。
教師なし骨格に基づく動作学習に使用される既存のトランスフォーマーモデルは,グローバルな動き情報のない隣接フレームから各関節の瞬時速度を学習する。
したがって、このモデルは全身運動や時間的に離れた関節よりも、世界的に注意をひくことが困難である。
また,このモデルでは対人インタラクションは考慮されていない。
本研究では,全身運動,長距離時間動学,対人インタラクションの学習に取り組み,グローバル・ローカルな注意機構を設計し,グローバルな身体運動と局所的な関節運動が互いに注意を払っている。
さらに,多様な時間帯におけるグローバル・ローカル両方の注意を学習するための,新しい事前学習戦略であるマルチインターバルポーズ変位予測を提案する。
提案モデルでは, 関節の局所力学を学習し, 動き列から大域的文脈を捉える。
我々のモデルは、代表ベンチマークで顕著なマージンで最先端モデルより優れています。
コードはhttps://github.com/Boeun-Kim/GL-Transformerで入手できる。
関連論文リスト
- Scaling Up Dynamic Human-Scene Interaction Modeling [60.21472701182632]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T15:45:04Z) - InterControl: Generate Human Motion Interactions by Controlling Every
Joint [63.76228576042726]
各関節のフレキシブルな空間制御を実現するために,InterControlという新しい手法を提案する。
粗い空間制御信号が与えられたコヒーレントでリアルな動きを生成するために、モーション制御ネットを組み込む。
HumanML3DとKIT-MLデータセットの実験は、多目的関節制御におけるその効果を実証している。
論文 参考訳(メタデータ) (2023-11-27T14:32:33Z) - Motion In-Betweening with Phase Manifolds [29.673541655825332]
本稿では,周期的オートエンコーダによって学習された位相変数を利用して,文字のターゲットポーズに到達するための,新たなデータ駆動型動作制御システムを提案する。
提案手法では,経験的ニューラルネットワークモデルを用いて,空間と時間の両方のクラスタの動きを,異なる専門家の重みで解析する。
論文 参考訳(メタデータ) (2023-08-24T12:56:39Z) - Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction [58.67761673662716]
人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
論文 参考訳(メタデータ) (2023-07-24T12:21:33Z) - GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。
GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。
運動と地面への距離変化との整合性を明確に促進するように訓練されている。
論文 参考訳(メタデータ) (2023-06-29T07:22:20Z) - Global-to-Local Modeling for Video-based 3D Human Pose and Shape
Estimation [53.04781510348416]
フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。
エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。
我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
論文 参考訳(メタデータ) (2023-03-26T14:57:49Z) - SoMoFormer: Social-Aware Motion Transformer for Multi-Person Motion
Prediction [10.496276090281825]
本稿では,ソーシャル・アウェア・モーション・トランスフォーマー(SoMoFormer)を提案する。
SoMoFormerは、変位軌道空間のサブシーケンスから運動特徴を抽出し、各個人に対する局所的およびグローバルなポーズダイナミクスを学習する。
さらに,SoMoFormerに新たなソーシャル・アウェア・アテンション・アテンション・メカニズムを考案し,動的表現をさらに最適化し,相互依存を同時に捉える。
論文 参考訳(メタデータ) (2022-08-19T08:57:34Z) - An Adaptable Approach to Learn Realistic Legged Locomotion without
Examples [38.81854337592694]
本研究は,バネ装荷逆振り子モデルを用いて学習プロセスを導くことで,移動における現実性を保証するための汎用的アプローチを提案する。
モデルのない設定であっても、2足歩行ロボットと4足歩行ロボットに対して、学習したポリシーが現実的でエネルギー効率のよい移動歩行を生成できることを示す実験結果を示す。
論文 参考訳(メタデータ) (2021-10-28T10:14:47Z) - Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。
本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。
映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
論文 参考訳(メタデータ) (2021-06-07T23:11:42Z) - GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。
リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。
この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
論文 参考訳(メタデータ) (2021-04-07T01:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。