論文の概要: Action-conditioned On-demand Motion Generation
- arxiv url: http://arxiv.org/abs/2207.08164v1
- Date: Sun, 17 Jul 2022 13:04:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 07:39:36.048874
- Title: Action-conditioned On-demand Motion Generation
- Title（参考訳）: 動作条件付きオンデマンドモーション生成
- Authors: Qiujing Lu, Yipeng Zhang, Mingjian Lu, Vwani Roychowdhury
- Abstract要約: 本研究では,現実的で多種多様な3次元人間の動作系列を生成するための新しいフレームワーク,On-Demand Motion Generation (ODMO)を提案する。
ODMOは3つの公開データセットで評価すると、従来のすべてのモーション評価指標に対するSOTAアプローチよりも改善されている。
- 参考スコア（独自算出の注目度）: 11.45641608124365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel framework, On-Demand MOtion Generation (ODMO), for
generating realistic and diverse long-term 3D human motion sequences
conditioned only on action types with an additional capability of
customization. ODMO shows improvements over SOTA approaches on all traditional
motion evaluation metrics when evaluated on three public datasets (HumanAct12,
UESTC, and MoCap). Furthermore, we provide both qualitative evaluations and
quantitative metrics demonstrating several first-known customization
capabilities afforded by our framework, including mode discovery,
interpolation, and trajectory customization. These capabilities significantly
widen the spectrum of potential applications of such motion generation models.
The novel on-demand generative capabilities are enabled by innovations in both
the encoder and decoder architectures: (i) Encoder: Utilizing contrastive
learning in low-dimensional latent space to create a hierarchical embedding of
motion sequences, where not only the codes of different action types form
different groups, but within an action type, codes of similar inherent patterns
(motion styles) cluster together, making them readily discoverable; (ii)
Decoder: Using a hierarchical decoding strategy where the motion trajectory is
reconstructed first and then used to reconstruct the whole motion sequence.
Such an architecture enables effective trajectory control. Our code is released
on the Github page: https://github.com/roychowdhuryresearch/ODMO
- Abstract（参考訳）: そこで本研究では,アクションタイプのみを条件としたリアルかつ多種多様な3次元人間の動作系列を生成するための新しいフレームワーク,On-Demand Motion Generation (ODMO)を提案する。
ODMOは3つのパブリックデータセット(HumanAct12、UESTC、MoCap)で評価された場合、従来のすべてのモーション評価指標に対するSOTAアプローチよりも改善されている。
さらに, モード発見, 補間, 軌道のカスタマイズなど, フレームワークが備える, 先見の明なカスタマイズ能力を示す定量的評価と定量的指標を提供する。
これらの能力は、そのような運動生成モデルの潜在的な応用のスペクトルを大きく広げる。
新しいオンデマンド生成機能は、エンコーダとデコーダの両方のアーキテクチャの革新によって実現されます。
(i)エンコーダ:低次元の潜在空間における対比学習を利用して、異なるアクションタイプの符号が異なるグループを形成するだけでなく、アクションタイプ内で類似した固有パターン(モーションスタイル)の符号が集まり、容易に発見できる動きシーケンスの階層的埋め込みを作成する。
(ii)デコーダ:まず動きの軌跡を再構築し、次に動きのシーケンス全体を再構築する階層的デコーダ戦略を使用する。
このようなアーキテクチャは効果的な軌道制御を可能にする。
私たちのコードはgithubページでリリースされています。 https://github.com/roychowdhuryresearch/odmo
関連論文リスト
- Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。
バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
論文 参考訳（メタデータ） (2024-05-27T22:15:23Z) - Hierarchical Generation of Human-Object Interactions with Diffusion
Probabilistic Models [71.64318025625833]
本稿では,対象物と相互作用する人間の3次元運動を生成するための新しいアプローチを提案する。
私たちのフレームワークはまず一連のマイルストーンを生成し、それに沿って動きを合成します。
NSM, COUCH, SAMPデータセットを用いた実験では, 従来の手法よりも品質と多様性に大きな差があることが示されている。
論文 参考訳（メタデータ） (2023-10-03T17:50:23Z) - NEURAL MARIONETTE: A Transformer-based Multi-action Human Motion
Synthesis System [51.43113919042621]
本稿では,長期・多動作型人体動作合成のためのニューラルネットワークシステムを提案する。
このシステムは、単純なユーザ入力からスムーズな遷移を伴う有意義な動作を生成することができる。
また,マルチアクション動作合成タスクに特化した新しいデータセットを提案する。
論文 参考訳（メタデータ） (2022-09-27T07:10:20Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳（メタデータ） (2022-06-16T09:06:25Z) - MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。
モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
論文 参考訳（メタデータ） (2021-12-19T07:52:05Z) - MUGL: Large Scale Multi Person Conditional Action Generation with
Locomotion [9.30315673109153]
MUGLは、大規模で多様な1対複数対多のポーズベースのアクションシーケンスをロコモーションで生成するための、新しいディープニューラルネットワークモデルである。
我々の制御可能なアプローチは、100以上のカテゴリで、アクションカテゴリによってカスタマイズ可能な可変長世代を可能にする。
論文 参考訳（メタデータ） (2021-10-21T20:11:53Z) - Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。
MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
論文 参考訳（メタデータ） (2021-10-01T16:52:03Z) - Action-Conditioned 3D Human Motion Synthesis with Transformer VAE [44.523477804533364]
我々は、現実的で多様な人間の動き系列の行動条件生成の問題に取り組む。
動作シーケンスを完了または拡張する手法とは対照的に、このタスクは初期ポーズやシーケンスを必要としない。
生成的変分オートエンコーダを訓練することにより、人間の動きに対する行動認識の潜在表現を学ぶ。
論文 参考訳（メタデータ） (2021-04-12T17:40:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。