Fugu-MT 論文翻訳(概要): Single Motion Diffusion

論文の概要: Single Motion Diffusion

arxiv url: http://arxiv.org/abs/2302.05905v1
Date: Sun, 12 Feb 2023 13:02:19 GMT
ステータス: 処理完了
システム内更新日: 2023-02-14 17:58:17.620129
Title: Single Motion Diffusion
Title（参考訳）: 単一運動拡散
Authors: Sigal Raab, Inbal Leibovitch, Guy Tevet, Moab Arar, Amit H. Bermano, and Daniel Cohen-Or
Abstract要約: 我々は,SinMDMと呼ばれる単一運動拡散モデルを提案し,単一の動き列の内部モチーフを学習する。 SinMDMは、空間的および時間的相互関係、モーション展開、スタイル転送、群衆アニメーションなど、さまざまな状況に適用することができる。以上の結果から,SinMDMは品質と時間空間効率の両方で既存手法よりも優れていた。
参考スコア（独自算出の注目度）: 33.81898532874481
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Synthesizing realistic animations of humans, animals, and even imaginary creatures, has long been a goal for artists and computer graphics professionals. Compared to the imaging domain, which is rich with large available datasets, the number of data instances for the motion domain is limited, particularly for the animation of animals and exotic creatures (e.g., dragons), which have unique skeletons and motion patterns. In this work, we present a Single Motion Diffusion Model, dubbed SinMDM, a model designed to learn the internal motifs of a single motion sequence with arbitrary topology and synthesize motions of arbitrary length that are faithful to them. We harness the power of diffusion models and present a denoising network designed specifically for the task of learning from a single input motion. Our transformer-based architecture avoids overfitting by using local attention layers that narrow the receptive field, and encourages motion diversity by using relative positional embedding. SinMDM can be applied in a variety of contexts, including spatial and temporal in-betweening, motion expansion, style transfer, and crowd animation. Our results show that SinMDM outperforms existing methods both in quality and time-space efficiency. Moreover, while current approaches require additional training for different applications, our work facilitates these applications at inference time. Our code and trained models are available at https://sinmdm.github.io/SinMDM-page.
Abstract（参考訳）: 人間、動物、さらには想像上の生き物のリアルなアニメーションを合成することは、アーティストやコンピュータグラフィックスの専門家にとって長年の目標だった。利用可能なデータセットが豊富にある画像領域と比較して、動き領域のデータインスタンスの数は限られており、特にユニークな骨格と動きパターンを持つ動物やエキゾチックな生物(例えばドラゴン)のアニメーションに限られている。本研究では,SinMDMと呼ばれる単一運動拡散モデルを提案する。これは,任意の位相を持つ単一運動列の内部モチーフを学習し,それらに忠実な任意の長さの運動を合成するモデルである。拡散モデルのパワーを活用し、単一の入力動作から学習するタスク用に特別に設計された分節ネットワークを提案する。変換器をベースとしたアーキテクチャは,受動的場を狭める局所的な注意層を用いることで過度な適合を回避し,相対的な位置埋め込みを用いて動きの多様性を促進する。 SinMDMは、空間的および時間的相互関係、モーション展開、スタイル転送、群衆アニメーションなど、さまざまな状況に適用することができる。以上の結果から,SinMDMは品質と時間空間効率の両方で既存手法よりも優れていた。さらに、現在のアプローチでは、異なるアプリケーションのための追加のトレーニングが必要ですが、私たちの作業は推論時にこれらのアプリケーションを容易にします。私たちのコードとトレーニングされたモデルはhttps://sinmdm.github.io/sinmdm-pageで利用可能です。

関連論文リスト

Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
論文参考訳（メタデータ） (2024-08-08T17:59:38Z)
Shape Conditioned Human Motion Generation with Diffusion Model [0.0]
本研究では,メッシュ形式での運動系列生成を可能にする形状条件付き運動拡散モデル(SMD)を提案する。また、スペクトル領域内の時間的依存関係を活用するためのスペクトル・テンポラルオートエンコーダ(STAE)を提案する。
論文参考訳（メタデータ） (2024-05-10T19:06:41Z)
Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。 SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
論文参考訳（メタデータ） (2024-03-15T10:36:24Z)
Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文参考訳（メタデータ） (2023-08-28T10:40:16Z)
Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
論文参考訳（メタデータ） (2023-06-01T07:48:34Z)
Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文参考訳（メタデータ） (2022-12-08T03:07:00Z)
Human Motion Diffusion Model [35.05219668478535]
運動拡散モデル(英: Motion Diffusion Model、MDM)は、人間の動作領域に対する変換器に基づく生成モデルである。我々は,本モデルが軽量な資源で訓練されていることを示すとともに,テキスト・トゥ・モーションとアクション・トゥ・モーションのベンチマークにおいて,最先端の結果が得られることを示した。
論文参考訳（メタデータ） (2022-09-29T16:27:53Z)
NeMF: Neural Motion Fields for Kinematic Animation [6.570955948572252]
巨大な運動空間を時間とともに連続関数として表現するため、Neural Motion Fields (NeMF) と呼ぶ。我々はニューラルネットワークを用いて、この関数をさまざまな動きの集合として学習する。私たちは、その汎用性を証明するために、多様な人間の動きデータセットと四重組データセットでモデルをトレーニングします。
論文参考訳（メタデータ） (2022-06-04T05:53:27Z)
Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
論文参考訳（メタデータ） (2021-07-27T14:30:33Z)
MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras [98.40768911788854]
4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
論文参考訳（メタデータ） (2021-06-08T16:03:50Z)
Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
論文参考訳（メタデータ） (2021-06-07T23:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。