論文の概要: Multi-Scale Control Signal-Aware Transformer for Motion Synthesis without Phase

• arxiv url: http://arxiv.org/abs/2303.01685v1
• Date: Fri, 3 Mar 2023 02:56:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 16:19:49.466851
• Title: Multi-Scale Control Signal-Aware Transformer for Motion Synthesis without Phase
• Title（参考訳）: 位相のない動作合成のためのマルチスケール制御信号認識トランス
• Authors: Lintao Wang, Kun Hu, Lei Bai, Yu Ding, Wanli Ouyang, Zhiyong Wang
• Abstract要約: マルチスケール制御信号認識変換器(MCS-T)を提案する。 MCS-Tは補助情報を用いてメソッドが生成した動作に匹敵する動作をうまく生成できる。
• 参考スコア（独自算出の注目度）: 72.01862340497314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthesizing controllable motion for a character using deep learning has been a promising approach due to its potential to learn a compact model without laborious feature engineering. To produce dynamic motion from weak control signals such as desired paths, existing methods often require auxiliary information such as phases for alleviating motion ambiguity, which limits their generalisation capability. As past poses often contain useful auxiliary hints, in this paper, we propose a task-agnostic deep learning method, namely Multi-scale Control Signal-aware Transformer (MCS-T), with an attention based encoder-decoder architecture to discover the auxiliary information implicitly for synthesizing controllable motion without explicitly requiring auxiliary information such as phase. Specifically, an encoder is devised to adaptively formulate the motion patterns of a character's past poses with multi-scale skeletons, and a decoder driven by control signals to further synthesize and predict the character's state by paying context-specialised attention to the encoded past motion patterns. As a result, it helps alleviate the issues of low responsiveness and slow transition which often happen in conventional methods not using auxiliary information. Both qualitative and quantitative experimental results on an existing biped locomotion dataset, which involves diverse types of motion transitions, demonstrate the effectiveness of our method. In particular, MCS-T is able to successfully generate motions comparable to those generated by the methods using auxiliary information.
• Abstract（参考訳）: 深層学習を用いた文字の可制御運動の合成は、複雑な特徴工学を使わずにコンパクトなモデルを学ぶ可能性から、有望なアプローチである。 所望の経路などの弱い制御信号から動的動作を生成するために、既存の手法では、運動の曖昧さを緩和するための位相などの補助情報が必要となり、一般化能力が制限される。 過去のポーズには有用な補助的ヒントがしばしば含まれており、本稿では、位相などの補助情報を明示的に必要とせず、暗黙的に制御可能な動作を合成するための補助情報を検出するために、注意に基づくエンコーダ・デコーダアーキテクチャを備えたマルチスケール制御信号認識変換器(MCS-T)を提案する。 具体的には、マルチスケールスケルトンを用いてキャラクタの過去のポーズの動作パターンを適応的に定式化するエンコーダと、制御信号により駆動されるデコーダとを考案し、符号化された過去の動きパターンにコンテキスト特化してキャラクタの状態をさらに合成し、予測する。 その結果、補助情報を使用しない従来の方法でしばしば発生する低応答性と遅い遷移の問題を緩和するのに役立つ。 本手法の有効性を実証するため,既存の2足歩行データセットの定性的および定量的な実験結果を得た。 特に、MCS-Tは補助情報を用いてメソッドが生成した動作に匹敵する動作をうまく生成することができる。

関連論文リスト

• TLControl: Trajectory and Language Control for Human Motion Synthesis [68.09806223962323]
  本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。 低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。 インタラクティブで高品質なアニメーション生成には実用的である。
  論文  参考訳（メタデータ） (2023-11-28T18:54:16Z)
• MoConVQ: Unified Physics-Based Motion Control via Scalable Discrete Representations [25.630268570049708]
  MoConVQは、スケーラブルな離散表現を活用する物理ベースのモーションコントロールのための新しい統合フレームワークである。 提案手法は,数十時間の動作例にまたがる大規模非構造データセットから,効果的に動作埋め込みを学習する。
  論文  参考訳（メタデータ） (2023-10-16T09:09:02Z)
• CALM: Conditional Adversarial Latent Models for Directable Virtual Characters [71.66218592749448]
  本研究では,ユーザが制御する対話型仮想キャラクタに対して,多種多様かつ指示可能な振る舞いを生成するための条件付き適応潜在モデル(CALM)を提案する。 模倣学習を用いて、CALMは人間の動きの複雑さを捉える動きの表現を学び、キャラクターの動きを直接制御できる。
  論文  参考訳（メタデータ） (2023-05-02T09:01:44Z)
• Controllable Motion Synthesis and Reconstruction with Autoregressive Diffusion Models [18.50942770933098]
  MoDiff(モディフ)は、他のモードの制御コンテキストに条件付けられた動き列上の自己回帰的確率拡散モデルである。 本モデルでは、モーダルトランスフォーマーエンコーダとトランスフォーマーベースのデコーダを統合し、動作の時間的相関と制御のモダリティを捉えるのに有効である。
  論文  参考訳（メタデータ） (2023-04-03T08:17:08Z)
• Transition Motion Tensor: A Data-Driven Approach for Versatile and Controllable Agents in Physically Simulated Environments [6.8438089867929905]
  本稿では,動きデータセットの外部に新しい,物理的に正確な遷移を生成する,データ駆動型フレームワークを提案する。 シミュレーションキャラクタは、既存のものを変更することなく、効率よく、堅牢に新しいモーションスキルを採用できる。
  論文  参考訳（メタデータ） (2021-11-30T02:17:25Z)
• Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
  Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。 MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
  論文  参考訳（メタデータ） (2021-10-01T16:52:03Z)
• CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
  プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。 時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
  論文  参考訳（メタデータ） (2021-07-16T17:57:44Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)
• ChallenCap: Monocular 3D Capture of Challenging Human Performances using Multi-Modal References [18.327101908143113]
  今回提案するChallenCapは、単一のRGBカメラで難しい3D人間の動きをキャプチャするテンプレートベースのアプローチです。 我々は,マルチモーダル参照を用いた新しい学習・最適化フレームワークを採用する。 我々の新しい挑戦運動データセットの実験は、挑戦する人間の動きを捉えるアプローチの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2021-03-11T15:49:22Z)
• Recognition and Synthesis of Object Transport Motion [0.0]
  このプロジェクトでは、小さなモーションキャプチャデータセット上で、特別なデータ拡張テクニックとともに、ディープ畳み込みネットワークをどのように使用できるかを説明します。 このプロジェクトは、運動合成のより複雑なタスクのために、これらの同じ拡張テクニックをどのようにスケールアップするかを示している。 近年のGAN(Generative Adversarial Models)の概念、特にWasserstein GAN(英語版)の展開を探求することにより、このプロジェクトは生命に似た物体の移動運動をうまく生成できるモデルの概要を述べる。
  論文  参考訳（メタデータ） (2020-09-27T22:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。