論文の概要: MoDi: Unconditional Motion Synthesis from Diverse Data

• arxiv url: http://arxiv.org/abs/2206.08010v1
• Date: Thu, 16 Jun 2022 09:06:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:10:21.464475
• Title: MoDi: Unconditional Motion Synthesis from Diverse Data
• Title（参考訳）: MoDi: 逆データからの無条件運動合成
• Authors: Sigal Raab, Inbal Leibovitch, Peizhuo Li, Kfir Aberman, Olga Sorkine-Hornung, Daniel Cohen-Or
• Abstract要約: 多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
• 参考スコア（独自算出の注目度）: 51.676055380546494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of neural networks has revolutionized the field of motion synthesis. Yet, learning to unconditionally synthesize motions from a given distribution remains a challenging task, especially when the motions are highly diverse. We present MoDi, an unconditional generative model that synthesizes diverse motions. Our model is trained in a completely unsupervised setting from a diverse, unstructured and unlabeled motion dataset and yields a well-behaved, highly semantic latent space. The design of our model follows the prolific architecture of StyleGAN and adapts two of its key technical components into the motion domain: a set of style-codes injected into each level of the generator hierarchy and a mapping function that learns and forms a disentangled latent space. We show that despite the lack of any structure in the dataset, the latent space can be semantically clustered, and facilitates semantic editing and motion interpolation. In addition, we propose a technique to invert unseen motions into the latent space, and demonstrate latent-based motion editing operations that otherwise cannot be achieved by naive manipulation of explicit motion representations. Our qualitative and quantitative experiments show that our framework achieves state-of-the-art synthesis quality that can follow the distribution of highly diverse motion datasets. Code and trained models will be released at https://sigal-raab.github.io/MoDi.
• Abstract（参考訳）: ニューラルネットワークの出現は、動き合成の分野に革命をもたらした。 しかし、特定の分布から運動を無条件に合成することを学ぶことは、特に動きが非常に多様である場合、難しい課題である。 多様な動きを合成する無条件生成モデルであるMoDiを提案する。 私たちのモデルは、多様で構造化されていない、ラベルのないモーションデータセットから、完全に教師なしの環境でトレーニングされています。 モデルの設計はstyleganの多作なアーキテクチャに従い、その重要な技術要素の2つをモーションドメインに適応させる。ジェネレータ階層の各レベルに注入されるスタイルコードの集合と、不連続な潜在空間を学習し形成するマッピング関数です。 データセットに構造がないにもかかわらず、潜在空間は意味的にクラスタ化され、意味的な編集や動きの補間を容易にする。 また,非可視な動きを潜在空間に逆転させる手法を提案し,明示的な動き表現の操作によっては実現できない潜時的な動き編集操作を実証する。 質的かつ定量的な実験により,我々は,高度に多様な動きデータセットの分布に追従できる最先端の合成品質を達成することができた。 コードとトレーニングされたモデルはhttps://sigal-raab.github.io/modiでリリースされる。

関連論文リスト

• Multi-Resolution Generative Modeling of Human Motion from Limited Data [3.5229503563299915]
  限られたトレーニングシーケンスから人間の動きを合成することを学ぶ生成モデルを提案する。 このモデルは、骨格の畳み込み層とマルチスケールアーキテクチャを統合することで、人間の動きパターンを順応的にキャプチャする。
  論文  参考訳（メタデータ） (2024-11-25T15:36:29Z)
• Motion-Oriented Compositional Neural Radiance Fields for Monocular Dynamic Human Modeling [10.914612535745789]
  本稿では,MoCo-NeRF(MoCo-NeRF)について述べる。 MoCo-NeRFはモノクロビデオのフリービューポイントレンダリングを実現するために設計されたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-16T17:59:01Z)
• A Unified Framework for Multimodal, Multi-Part Human Motion Synthesis [17.45562922442149]
  我々は,マルチモーダル(テキスト,音楽,音声)とマルチパート(手,胴体)のヒューマンモーション生成を融合する,密着的でスケーラブルなアプローチを導入する。 本手法は,制御信号のモダリティに基づく特殊コードブックから,多モード動作生成課題をトークン予測タスクとして表現する。
  論文  参考訳（メタデータ） (2023-11-28T04:13:49Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
  MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。 本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。 文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
  論文  参考訳（メタデータ） (2022-12-08T18:59:48Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)
• NeMF: Neural Motion Fields for Kinematic Animation [6.570955948572252]
  巨大な運動空間を時間とともに連続関数として表現するため、Neural Motion Fields (NeMF) と呼ぶ。 我々はニューラルネットワークを用いて、この関数をさまざまな動きの集合として学習する。 私たちは、その汎用性を証明するために、多様な人間の動きデータセットと四重組データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2022-06-04T05:53:27Z)
• GANimator: Neural Motion Synthesis from a Single Sequence [38.361579401046875]
  本稿では,1つの短い動き列から新しい動きを合成することを学ぶ生成モデルであるGANimatorを提案する。 GANimatorはオリジナルの動きのコア要素に類似した動きを生成し、同時に新規で多様な動きを合成する。 クラウドシミュレーション,キーフレーム編集,スタイル転送,対話型制御など,さまざまな応用例を示し,それぞれが単一の入力シーケンスから学習する。
  論文  参考訳（メタデータ） (2022-05-05T13:04:14Z)
• Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
  Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。 MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
  論文  参考訳（メタデータ） (2021-10-01T16:52:03Z)
• Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
  本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。 提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。 大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
  論文  参考訳（メタデータ） (2020-08-24T02:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。