Fugu-MT 論文翻訳(概要): DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control

論文の概要: DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control

arxiv url: http://arxiv.org/abs/2410.05260v1
Date: Mon, 7 Oct 2024 17:58:22 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 19:57:23.978691
Title: DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control
Title（参考訳）: DART:リアルタイムテキスト駆動動作制御のための拡散型自己回帰運動モデル
Authors: Kaifeng Zhao, Gen Li, Siyu Tang,
Abstract要約: テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。 DARTは、リアルタイムテキスト駆動モーション制御のための拡散型自動回帰モーションプリミティブモデルである。動作合成タスクにおいて,モデルの汎用性と優れた性能を実証し,両手法に有効なアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 12.465927271402442
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text-conditioned human motion generation, which allows for user interaction through natural language, has become increasingly popular. Existing methods typically generate short, isolated motions based on a single input sentence. However, human motions are continuous and can extend over long periods, carrying rich semantics. Creating long, complex motions that precisely respond to streams of text descriptions, particularly in an online and real-time setting, remains a significant challenge. Furthermore, incorporating spatial constraints into text-conditioned motion generation presents additional challenges, as it requires aligning the motion semantics specified by text descriptions with geometric information, such as goal locations and 3D scene geometry. To address these limitations, we propose DART, a Diffusion-based Autoregressive motion primitive model for Real-time Text-driven motion control. Our model, DART, effectively learns a compact motion primitive space jointly conditioned on motion history and text inputs using latent diffusion models. By autoregressively generating motion primitives based on the preceding history and current text input, DART enables real-time, sequential motion generation driven by natural language descriptions. Additionally, the learned motion primitive space allows for precise spatial motion control, which we formulate either as a latent noise optimization problem or as a Markov decision process addressed through reinforcement learning. We present effective algorithms for both approaches, demonstrating our model's versatility and superior performance in various motion synthesis tasks. Experiments show our method outperforms existing baselines in motion realism, efficiency, and controllability. Video results are available on the project page: https://zkf1997.github.io/DART/.
Abstract（参考訳）: 自然言語によるユーザインタラクションを可能にするテキスト条件のヒューマンモーション生成は,ますます人気が高まっている。既存の手法は通常、1つの入力文に基づいて短い孤立した動きを生成する。しかしながら、人間の動きは連続しており、豊かな意味論を持ち、長期間にわたって拡張することができる。テキスト記述のストリームに正確に反応する、長く複雑なモーションを生成することは、特にオンラインとリアルタイムの環境では、依然として大きな課題だ。さらに、テキスト条件付きモーション生成に空間的制約を組み込むことは、テキスト記述によって規定される動作意味と、ゴール位置や3次元シーン幾何学といった幾何学的情報との整合性を必要とするため、さらなる課題が生じる。これらの制約に対処するため、DARTはリアルタイムテキスト駆動モーション制御のための拡散型自動回帰モーションプリミティブモデルである。我々のモデルであるDARTは、潜在拡散モデルを用いて、動作履歴とテキスト入力を共同で条件付けしたコンパクトな動き原始空間を効果的に学習する。 DARTは、前回の履歴と現在のテキスト入力に基づいて、自動回帰的にモーションプリミティブを生成することにより、自然言語記述によって駆動されるリアルタイム、シーケンシャルなモーション生成を可能にする。さらに、学習された動き原始空間は、遅延雑音最適化問題または強化学習によって対処されるマルコフ決定過程として定式化される、正確な空間運動制御を可能にする。動作合成タスクにおいて,モデルの汎用性と優れた性能を実証し,両手法に有効なアルゴリズムを提案する。実験により,本手法は動作リアリズム,効率,制御性において,既存のベースラインよりも優れていた。ビデオはプロジェクトのページで公開されている。

関連論文リスト

MotionBank: A Large-scale Video Motion Benchmark with Disentangled Rule-based Annotations [85.85596165472663]
我々は、13の動画アクションデータセット、1.24Mのモーションシーケンス、132.9Mの自然な、多様な人間のモーションフレームからなるMotionBankを構築した。私たちのMotionBankは、人間のモーション生成、モーションインコンテキスト生成、そしてモーション理解といった、一般的なモーション関連タスクに役立ちます。
論文参考訳（メタデータ） (2024-10-17T17:31:24Z)
Infinite Motion: Extended Motion Generation via Long Text Instructions [51.61117351997808]
『無限運動』は、長文を長文から拡張運動生成に活用する新しいアプローチである。我々のモデルの主な革新は、任意の長さのテキストを入力として受け入れることである。テキストのタイムスタンプ設計を取り入れ、生成されたシーケンス内のローカルセグメントの正確な編集を可能にする。
論文参考訳（メタデータ） (2024-07-11T12:33:56Z)
DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
論文参考訳（メタデータ） (2023-12-07T04:39:22Z)
LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文参考訳（メタデータ） (2023-12-05T17:59:52Z)
Story-to-Motion: Synthesizing Infinite and Controllable Character Animation from Long Text [14.473103773197838]
ストーリー・トゥ・モーション(Story-to-Motion)と呼ばれる新しいタスクは、文字が長いテキスト記述に基づいて特定の動作を行う必要があるときに発生する。文字制御とテキスト・トゥ・モーションのこれまでの研究は、関連する側面に対処してきたが、包括的解決はいまだ解明されていない。本稿では,制御可能で無限に長い動きと,入力テキストに整合した軌跡を生成する新しいシステムを提案する。
論文参考訳（メタデータ） (2023-11-13T16:22:38Z)
AttT2M: Text-Driven Human Motion Generation with Multi-Perspective Attention Mechanism [24.049207982022214]
マルチパースペクティブアテンション機構を持つ2段階手法である textbftT2M を提案する。本手法は, 定性的, 定量的評価の観点から, 現在の最先端技術よりも優れている。
論文参考訳（メタデータ） (2023-09-02T02:18:17Z)
Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文参考訳（メタデータ） (2023-08-28T10:40:16Z)
MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
論文参考訳（メタデータ） (2022-12-08T18:59:48Z)
MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文参考訳（メタデータ） (2022-08-31T17:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。