論文の概要: A Unified Masked Autoencoder with Patchified Skeletons for Motion Synthesis

• arxiv url: http://arxiv.org/abs/2308.07301v2
• Date: Mon, 8 Apr 2024 15:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 04:57:43.090505
• Title: A Unified Masked Autoencoder with Patchified Skeletons for Motion Synthesis
• Title（参考訳）: 運動合成のための整合骨格を持つ一様マスケオートエンコーダ
• Authors: Esteve Valls Mascaro, Hyemin Ahn, Dongheui Lee,
• Abstract要約: 本稿では,UNIMASK-Mと呼ばれる新しいタスク独立モデルを提案する。 Vision TransformersVi (Ts)にインスパイアされた私たちのUNIMASK-Mモデルは、人間の動きに存在する時間的関係を活用するために、人間のポーズを身体の一部に分解する。 実験の結果,Human3.6Mデータセット上での人間の動きの予測に成功していることがわかった。
• 参考スコア（独自算出の注目度）: 14.347147051922175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The synthesis of human motion has traditionally been addressed through task-dependent models that focus on specific challenges, such as predicting future motions or filling in intermediate poses conditioned on known key-poses. In this paper, we present a novel task-independent model called UNIMASK-M, which can effectively address these challenges using a unified architecture. Our model obtains comparable or better performance than the state-of-the-art in each field. Inspired by Vision Transformers (ViTs), our UNIMASK-M model decomposes a human pose into body parts to leverage the spatio-temporal relationships existing in human motion. Moreover, we reformulate various pose-conditioned motion synthesis tasks as a reconstruction problem with different masking patterns given as input. By explicitly informing our model about the masked joints, our UNIMASK-M becomes more robust to occlusions. Experimental results show that our model successfully forecasts human motion on the Human3.6M dataset. Moreover, it achieves state-of-the-art results in motion inbetweening on the LaFAN1 dataset, particularly in long transition periods. More information can be found on the project website https://evm7.github.io/UNIMASKM-page/
• Abstract（参考訳）: 人間の動きの合成は、伝統的にタスク依存モデルによって対処されてきた。 本稿では,UNIMASK-Mと呼ばれる新しいタスク独立モデルを提案する。 我々のモデルは各分野の最先端技術よりも同等または優れた性能が得られる。 視覚変換器(ViT)にインスパイアされたUNIMASK-Mモデルは、人間のポーズを身体の一部に分解し、人間の動きに存在する時空間的関係を活用する。 さらに、入力として与えられた異なるマスキングパターンを用いて、様々なポーズ条件の動作合成タスクを再構成する。 マスクされた関節についてモデルに明示的に通知することで、UNIMASK-Mは閉塞に対してより堅牢になる。 実験の結果,Human3.6Mデータセット上での人間の動きの予測に成功していることがわかった。 さらに、LaFAN1データセット、特に長い遷移期間における動きインテグレーションの最先端の結果を達成する。 詳細はプロジェクトのWebサイトhttps://evm7.github.io/UNIMASKM-page/にある。

関連論文リスト

• HUMOS: Human Motion Model Conditioned on Body Shape [54.20419874234214]
  身体形状に基づく生成運動モデルを構築するための新しいアプローチを提案する。 非ペアデータを使ってこのモデルをトレーニングすることが可能であることを示す。 得られたモデルは、多種多様で、物理的に妥当で、動的に安定した人間の動きを生成する。
  論文  参考訳（メタデータ） (2024-09-05T23:50:57Z)
• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• SoMoFormer: Multi-Person Pose Forecasting with Transformers [15.617263162155062]
  マルチパーソン3Dポーズ予測のためのソーシャルモーショントランスフォーマー(SoMoFormer)を提案する。 我々のトランスアーキテクチャは、人間の動作入力を時系列ではなくジョイントシーケンスとして一意にモデル化する。 この問題の修正により、SoMoFormerは自然に、シーン内のすべての人の関節を入力クエリとして使用することで、マルチパーソンシーンに拡張できることを示す。
  論文  参考訳（メタデータ） (2022-08-30T06:59:28Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)
• Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
  本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。 提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
  論文  参考訳（メタデータ） (2022-03-29T16:24:52Z)
• Motion Prediction via Joint Dependency Modeling in Phase Space [40.54430409142653]
  我々は、運動解剖学の明示的な事前知識を活用するために、新しい畳み込みニューラルモデルを導入する。 次に,個々の関節機能間の暗黙的関係を学習するグローバル最適化モジュールを提案する。 本手法は,大規模な3次元人体動作ベンチマークデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-01-07T08:30:01Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
  人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。 本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。 映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-07T23:11:42Z)
• Graph-based Normalizing Flow for Human Motion Generation and Reconstruction [20.454140530081183]
  過去の情報と制御信号に基づく長地平線運動系列を合成・再構築する確率生成モデルを提案する。 足踏み解析と骨長解析を併用したモーションキャプチャデータセットを用いたモデル評価を行った。
  論文  参考訳（メタデータ） (2021-04-07T09:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。