Fugu-MT 論文翻訳(概要): Text-guided 3D Human Motion Generation with Keyframe-based Parallel Skip Transformer

論文の概要: Text-guided 3D Human Motion Generation with Keyframe-based Parallel Skip Transformer

arxiv url: http://arxiv.org/abs/2405.15439v1
Date: Fri, 24 May 2024 11:12:37 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 14:42:18.500320
Title: Text-guided 3D Human Motion Generation with Keyframe-based Parallel Skip Transformer
Title（参考訳）: キーボードベースパラレルスキップ変換器を用いたテキスト誘導型3次元人体運動生成
Authors: Zichen Geng, Caren Han, Zeeshan Hayder, Jian Liu, Mubarak Shah, Ajmal Mian,
Abstract要約: 既存のアルゴリズムは、コストがかかりエラーを起こしやすい全シーケンスを直接生成する。本稿では,入力テキストに対応する人間の動作系列を生成するKeyMotionを提案する。我々は,自動エンコーダを潜在空間に投影するために,Kullback-Leibler正規化付き変分符号器(VAE)を用いる。逆拡散のために,デザインラテントとテキスト条件の相互参照を行う新しいパラレルスキップ変換器を提案する。
参考スコア（独自算出の注目度）: 62.29951737214263
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text-driven human motion generation is an emerging task in animation and humanoid robot design. Existing algorithms directly generate the full sequence which is computationally expensive and prone to errors as it does not pay special attention to key poses, a process that has been the cornerstone of animation for decades. We propose KeyMotion, that generates plausible human motion sequences corresponding to input text by first generating keyframes followed by in-filling. We use a Variational Autoencoder (VAE) with Kullback-Leibler regularization to project the keyframes into a latent space to reduce dimensionality and further accelerate the subsequent diffusion process. For the reverse diffusion, we propose a novel Parallel Skip Transformer that performs cross-modal attention between the keyframe latents and text condition. To complete the motion sequence, we propose a text-guided Transformer designed to perform motion-in-filling, ensuring the preservation of both fidelity and adherence to the physical constraints of human motion. Experiments show that our method achieves state-of-theart results on the HumanML3D dataset outperforming others on all R-precision metrics and MultiModal Distance. KeyMotion also achieves competitive performance on the KIT dataset, achieving the best results on Top3 R-precision, FID, and Diversity metrics.
Abstract（参考訳）: テキスト駆動型ヒューマンモーション生成はアニメーションとヒューマノイドロボットの設計において新たな課題である。既存のアルゴリズムは、計算コストが高く、重要なポーズに特に注意を払わないためエラーを起こしやすい全シーケンスを生成する。入力テキストに対応する可塑性な人間の動作シーケンスを生成するKeyMotionを提案する。可変オートエンコーダ(VAE)とKullback-Leibler正則化を用いて,鍵フレームを潜在空間に投影し,次元の低減とその後の拡散過程の促進を図る。逆拡散のために,キーフレームラテントとテキスト条件間の相互参照を行う新しいパラレルスキップ変換器を提案する。そこで本研究では,人間の動作の物理的制約に対する忠実さと忠実さの両面を確実に維持し,動きを埋め込むためのテキスト誘導変換器を提案する。実験の結果,HumanML3Dデータセットでは,R精度の指標やマルチモーダル距離が他よりも優れていることがわかった。 KeyMotionはまた、KITデータセット上での競争的なパフォーマンスも達成し、Top3 R-precision、FID、およびDiversityメトリクスで最高の結果を達成する。

関連論文リスト

Transformer with Controlled Attention for Synchronous Motion Captioning [0.0]
本稿では,人間の動作シーケンスに同期した言語記述を生成することを目的とした,同期動作キャプションという課題に対処する。本手法では,トランスフォーマーの自己および横断的な分布を制御する機構を導入し,解釈可能性と時刻整合テキスト生成を実現する。我々は、KIT-MLとHumanML3Dという2つのベンチマークデータセットの評価を通じて、我々のアプローチの優れた性能を実証する。
論文参考訳（メタデータ） (2024-09-13T20:30:29Z)
Seamless Human Motion Composition with Blended Positional Encodings [38.85158088021282]
後処理や冗長な復調ステップを伴わずにシームレスなヒューマン・モーション・コンポジション(HMC)を生成する最初の拡散モデルであるフローMDMを紹介する。我々はBabelとHumanML3Dデータセットの精度、リアリズム、スムーズさの観点から最先端の結果を得る。
論文参考訳（メタデータ） (2024-02-23T18:59:40Z)
Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文参考訳（メタデータ） (2023-12-14T12:57:35Z)
Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文参考訳（メタデータ） (2023-08-28T10:40:16Z)
Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文参考訳（メタデータ） (2022-12-08T03:07:00Z)
Recurrent Transformer Variational Autoencoders for Multi-Action Motion Synthesis [17.15415641710113]
任意の長さの多動作人間の動作列を合成する問題を考察する。既存のアプローチでは、単一のアクションシナリオでモーションシーケンス生成をマスターしているが、多アクションおよび任意の長さのシーケンスに一般化できない。本稿では,リカレントトランスの豊かさと条件付き変分オートエンコーダの生成豊かさを活用する,新しい効率的な手法を提案する。
論文参考訳（メタデータ） (2022-06-14T10:40:16Z)
TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
テキスト記述から多種多様な人間の動作を生成するという課題に対処する。本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
論文参考訳（メタデータ） (2022-04-25T14:53:06Z)
AniFormer: Data-driven 3D Animation with Transformer [95.45760189583181]
そこで本研究では,ターゲット3Dオブジェクトを原駆動シーケンスの動作によってアニメーションする,新しいタスクを提案する。 AniFormerは、生の駆動シーケンスと任意の同じタイプのターゲットメッシュを直接入力として取り込んでアニメーション3Dシーケンスを生成する。我々のAniFormerは、様々なカテゴリのベンチマークにおいて、高忠実で、現実的で、時間的に一貫性のあるアニメーション結果を実現し、最先端の手法よりも優れています。
論文参考訳（メタデータ） (2021-10-20T12:36:55Z)
Action-Conditioned 3D Human Motion Synthesis with Transformer VAE [44.523477804533364]
我々は、現実的で多様な人間の動き系列の行動条件生成の問題に取り組む。動作シーケンスを完了または拡張する手法とは対照的に、このタスクは初期ポーズやシーケンスを必要としない。生成的変分オートエンコーダを訓練することにより、人間の動きに対する行動認識の潜在表現を学ぶ。
論文参考訳（メタデータ） (2021-04-12T17:40:27Z)
Robust Motion In-betweening [17.473287573543065]
本稿では,3次元アニメーターのための新しいツールとして機能する,新しい頑健な遷移生成技術を提案する。このシステムは、時間的にスパーサをアニメーションの制約として使用する高品質な動作を合成する。私たちは、トレーニングされたモデルを使用して運用シナリオで相互運用を行う、カスタムのMotionBuilderプラグインを紹介します。
論文参考訳（メタデータ） (2021-02-09T16:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。