論文の概要: WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

• arxiv url: http://arxiv.org/abs/2407.18946v1
• Date: Thu, 11 Jul 2024 09:31:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 01:16:12.972054
• Title: WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds
• Title（参考訳）: WalkTheDog: フェーズマニフォールドによるクロスモルフォロジーモーションアライメント
• Authors: Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung,
• Abstract要約: 本稿では,動きデータセットの周期構造と意味を理解するための新しいアプローチを提案する。 我々は,人間や犬などの複数の文字に対する共有位相多様体を,何の監督も受けずに学習する。 改良された動きマッチングフレームワークと組み合わせて、いくつかのアプリケーションにおいて、時間と意味のアライメントの多様体の能力を実証する。
• 参考スコア（独自算出の注目度）: 23.884105024013714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new approach for understanding the periodicity structure and semantics of motion datasets, independently of the morphology and skeletal structure of characters. Unlike existing methods using an overly sparse high-dimensional latent, we propose a phase manifold consisting of multiple closed curves, each corresponding to a latent amplitude. With our proposed vector quantized periodic autoencoder, we learn a shared phase manifold for multiple characters, such as a human and a dog, without any supervision. This is achieved by exploiting the discrete structure and a shallow network as bottlenecks, such that semantically similar motions are clustered into the same curve of the manifold, and the motions within the same component are aligned temporally by the phase variable. In combination with an improved motion matching framework, we demonstrate the manifold's capability of timing and semantics alignment in several applications, including motion retrieval, transfer and stylization. Code and pre-trained models for this paper are available at https://peizhuoli.github.io/walkthedog.
• Abstract（参考訳）: 本稿では,文字の形態や骨格構造とは無関係に,動きデータセットの周期構造と意味を理解するための新しいアプローチを提案する。 過度にスパースな高次元ラテントを用いた既存の方法とは異なり、複数の閉曲線からなる位相多様体を提案し、それぞれ遅延振幅に対応する。 提案するベクトル量子化周期型オートエンコーダを用いて,人間や犬などの複数の文字に対する共有位相多様体を,何の監督も受けずに学習する。 これは、離散構造と浅いネットワークをボトルネックとして利用することにより達成され、意味的に類似した運動が多様体の同じ曲線にクラスタ化され、同じ成分内の運動が位相変数によって時間的に整列される。 改良された動きマッチングフレームワークと組み合わせて、運動検索、転送、スタイリングを含む複数のアプリケーションにおいて、時間的・意味的アライメントの多様体の能力を実証する。 この論文のコードと事前訓練されたモデルはhttps://peizhuoli.github.io/walkthedog.comで公開されている。

関連論文リスト

• Technical Report: Masked Skeleton Sequence Modeling for Learning Larval Zebrafish Behavior Latent Embeddings [5.922172844641853]
  幼魚ゼブラフィッシュの行動から潜伏埋め込みを抽出する自己教師型学習法を提案する。 スイミングゼブラフィッシュの骨格配列について、SSTFormer(Sequence Space-Temporal Transformer)の先駆的なトランスフォーマーCNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-23T02:58:10Z)
• Generative Motion Stylization of Cross-structure Characters within Canonical Motion Space [28.628241993271647]
  本研究では,多種多様かつ多種多様な構造体上での動作に対して,モーションスタイリングパイプライン(MotionS)を提案する。 私たちの重要な洞察は、モーションスタイルをモダリティのラテント空間に埋め込むことで、標準モーション空間内でのモーションスタイリングを可能にします。
  論文  参考訳（メタデータ） (2024-03-18T04:41:59Z)
• A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation [89.86345494602642]
  既存の手法は、弱い時間的モデリング能力に制限されている。 この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。 DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-10T09:11:39Z)
• Motion In-Betweening with Phase Manifolds [29.673541655825332]
  本稿では,周期的オートエンコーダによって学習された位相変数を利用して,文字のターゲットポーズに到達するための,新たなデータ駆動型動作制御システムを提案する。 提案手法では,経験的ニューラルネットワークモデルを用いて,空間と時間の両方のクラスタの動きを,異なる専門家の重みで解析する。
  論文  参考訳（メタデータ） (2023-08-24T12:56:39Z)
• Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting [50.901984244738806]
  時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。 特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。 最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
  論文  参考訳（メタデータ） (2022-06-28T08:11:12Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization [61.015704878681795]
  本稿では,3次元点雲のための多体運動分節と剛性登録フレームワークを提案する。 このマルチスキャンマルチボディ設定によって生じる2つの非自明な課題は、である。 複数の入力ポイントクラウド間の対応性とセグメンテーション一貫性の保証 新規な対象カテゴリーに適用可能なロバストな運動に基づく剛体セグメンテーションを得る。
  論文  参考訳（メタデータ） (2021-01-17T06:36:28Z)
• Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
  本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。 提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。 大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
  論文  参考訳（メタデータ） (2020-08-24T02:11:02Z)
• Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
  骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。 我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
  論文  参考訳（メタデータ） (2020-05-12T12:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。