論文の概要: NEURAL MARIONETTE: A Transformer-based Multi-action Human Motion Synthesis System

• arxiv url: http://arxiv.org/abs/2209.13204v2
• Date: Mon, 27 Nov 2023 15:19:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 17:28:56.648437
• Title: NEURAL MARIONETTE: A Transformer-based Multi-action Human Motion Synthesis System
• Title（参考訳）: NEURAL MARIONETTE: トランスフォーマーを用いた多動作人体動作合成システム
• Authors: Weiqiang Wang, Xuefei Zhe, Qiuhong Ke, Di Kang, Tingguang Li, Ruizhi Chen, and Linchao Bao
• Abstract要約: 本稿では,長期・多動作型人体動作合成のためのニューラルネットワークシステムを提案する。 このシステムは、単純なユーザ入力からスムーズな遷移を伴う有意義な動作を生成することができる。 また,マルチアクション動作合成タスクに特化した新しいデータセットを提案する。
• 参考スコア（独自算出の注目度）: 51.43113919042621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a neural network-based system for long-term, multi-action human motion synthesis. The system, dubbed as NEURAL MARIONETTE, can produce high-quality and meaningful motions with smooth transitions from simple user input, including a sequence of action tags with expected action duration, and optionally a hand-drawn moving trajectory if the user specifies. The core of our system is a novel Transformer-based motion generation model, namely MARIONET, which can generate diverse motions given action tags. Different from existing motion generation models, MARIONET utilizes contextual information from the past motion clip and future action tag, dedicated to generating actions that can smoothly blend historical and future actions. Specifically, MARIONET first encodes target action tag and contextual information into an action-level latent code. The code is unfolded into frame-level control signals via a time unrolling module, which could be then combined with other frame-level control signals like the target trajectory. Motion frames are then generated in an auto-regressive way. By sequentially applying MARIONET, the system NEURAL MARIONETTE can robustly generate long-term, multi-action motions with the help of two simple schemes, namely "Shadow Start" and "Action Revision". Along with the novel system, we also present a new dataset dedicated to the multi-action motion synthesis task, which contains both action tags and their contextual information. Extensive experiments are conducted to study the action accuracy, naturalism, and transition smoothness of the motions generated by our system.
• Abstract（参考訳）: 本稿では,長期多動作人間の動作合成のためのニューラルネットワークベースシステムを提案する。 NEURAL MARIONETTEと呼ばれるこのシステムは、単純なユーザ入力からのスムーズな遷移を伴う高品質で有意義な動作を生成することができる。 我々のシステムの中核はトランスフォーマーに基づく新しいモーション生成モデル、すなわちMARIONETであり、与えられたアクションタグを多種多様なモーションを生成することができる。 既存のモーション生成モデルとは異なり、MARIONETは過去のモーションクリップと将来のアクションタグのコンテキスト情報を利用して、過去のアクションと将来のアクションをスムーズにブレンドできるアクションを生成する。 具体的には、MARIONETはまずターゲットアクションタグとコンテキスト情報をアクションレベルの潜在コードにエンコードする。 コードはタイムアンロールモジュールを介してフレームレベルの制御信号に展開され、ターゲットの軌道のような他のフレームレベルの制御信号と組み合わせられる。 モーションフレームは自動回帰的に生成される。 MARIONETを逐次適用することにより、NEURAL MARIONETTEは、2つの簡単なスキーム、すなわち「シャドウスタート」と「アクションリビジョン」の助けを借りて、長期間の多動作動作を堅牢に生成することができる。 新たなシステムとともに,アクションタグとコンテキスト情報の両方を含むマルチアクションモーション合成タスク専用のデータセットも提示する。 本システムにより生じる動作の動作精度,自然性,過渡的スムーズ性について,広範囲にわたる実験を行った。

関連論文リスト

• Motion In-Betweening with Phase Manifolds [29.673541655825332]
  本稿では,周期的オートエンコーダによって学習された位相変数を利用して,文字のターゲットポーズに到達するための,新たなデータ駆動型動作制御システムを提案する。 提案手法では,経験的ニューラルネットワークモデルを用いて,空間と時間の両方のクラスタの動きを,異なる専門家の重みで解析する。
  論文  参考訳（メタデータ） (2023-08-24T12:56:39Z)
• MotionGPT: Finetuned LLMs Are General-Purpose Motion Generators [108.67006263044772]
  本稿では,マルチモーダル制御信号を利用するMotionGPT(Motion General-Purpose generaTor)を提案する。 まず,マルチモーダル制御信号を離散符号に量子化し,それらを統一的なプロンプト命令で定式化する。 我々のMotionGPTは、LLMパラメータのわずか0.4%をチューニングすることで、マルチモーダル制御信号を用いた統一された人の動き生成モデルを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:58:17Z)
• MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
  本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。 実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-05T04:24:11Z)
• Action-conditioned On-demand Motion Generation [11.45641608124365]
  本研究では,現実的で多種多様な3次元人間の動作系列を生成するための新しいフレームワーク,On-Demand Motion Generation (ODMO)を提案する。 ODMOは3つの公開データセットで評価すると、従来のすべてのモーション評価指標に対するSOTAアプローチよりも改善されている。
  論文  参考訳（メタデータ） (2022-07-17T13:04:44Z)
• Diverse Dance Synthesis via Keyframes with Transformer Controllers [10.23813069057791]
  本稿では,複数の制約に基づく動きに基づく動き生成ネットワークを提案し,学習知識を用いて多様なダンス合成を実現する。 我々のネットワークのバックボーンは2つの長い短期記憶(LSTM)ユニットからなる階層的RNNモジュールであり、最初のLSTMを用いて歴史的フレームの姿勢情報を潜時空間に埋め込む。 本フレームワークは2つのTransformerベースのコントローラを備えており,それぞれがルート軌道と速度係数の制約をモデル化するために使用される。
  論文  参考訳（メタデータ） (2022-07-13T00:56:46Z)
• Weakly-supervised Action Transition Learning for Stochastic Human Motion Prediction [81.94175022575966]
  動作駆動型人間の動作予測の課題について紹介する。 一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
  論文  参考訳（メタデータ） (2022-05-31T08:38:07Z)
• GANimator: Neural Motion Synthesis from a Single Sequence [38.361579401046875]
  本稿では,1つの短い動き列から新しい動きを合成することを学ぶ生成モデルであるGANimatorを提案する。 GANimatorはオリジナルの動きのコア要素に類似した動きを生成し、同時に新規で多様な動きを合成する。 クラウドシミュレーション,キーフレーム編集,スタイル転送,対話型制御など,さまざまな応用例を示し,それぞれが単一の入力シーケンスから学習する。
  論文  参考訳（メタデータ） (2022-05-05T13:04:14Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)
• Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
  本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。 提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。 大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
  論文  参考訳（メタデータ） (2020-08-24T02:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。