論文の概要: Plan, Posture and Go: Towards Open-World Text-to-Motion Generation
- arxiv url: http://arxiv.org/abs/2312.14828v1
- Date: Fri, 22 Dec 2023 17:02:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 14:16:25.902826
- Title: Plan, Posture and Go: Towards Open-World Text-to-Motion Generation
- Title(参考訳): Plan, Posture and Go: オープンワールドテキスト・ツー・モーション・ジェネレーションを目指して
- Authors: Jinpeng Liu, Wenxun Dai, Chunyu Wang, Yiji Cheng, Yansong Tang, Xin
Tong
- Abstract要約: Pro-Motion という分断型フレームワークを提案する。
モーションプランナー、姿勢ディフューザ、go-diffuserの3つのモジュールで構成されている。
Pro-Motionは複雑なオープンワールドプロンプトから多様でリアルな動きを生成することができる。
- 参考スコア(独自算出の注目度): 43.392549755386135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional text-to-motion generation methods are usually trained on limited
text-motion pairs, making them hard to generalize to open-world scenarios. Some
works use the CLIP model to align the motion space and the text space, aiming
to enable motion generation from natural language motion descriptions. However,
they are still constrained to generate limited and unrealistic in-place
motions. To address these issues, we present a divide-and-conquer framework
named PRO-Motion, which consists of three modules as motion planner,
posture-diffuser and go-diffuser. The motion planner instructs Large Language
Models (LLMs) to generate a sequence of scripts describing the key postures in
the target motion. Differing from natural languages, the scripts can describe
all possible postures following very simple text templates. This significantly
reduces the complexity of posture-diffuser, which transforms a script to a
posture, paving the way for open-world generation. Finally, go-diffuser,
implemented as another diffusion model, estimates whole-body translations and
rotations for all postures, resulting in realistic motions. Experimental
results have shown the superiority of our method with other counterparts, and
demonstrated its capability of generating diverse and realistic motions from
complex open-world prompts such as "Experiencing a profound sense of joy". The
project page is available at https://moonsliu.github.io/Pro-Motion.
- Abstract(参考訳): 従来のテキストからモーションへの生成法は通常、限られたテキストとモーションのペアで訓練されるため、オープンワールドシナリオへの一般化は困難である。
CLIPモデルを用いて動き空間とテキスト空間を整列し、自然言語の動作記述から動き生成を可能にする研究もある。
しかし、それらは依然として限定的で非現実的な動きを発生させることに制限されている。
これらの問題に対処するため,動作プランナ,姿勢ディフューザ,go-diffuser の3つのモジュールからなる PRO-Motion という分割型フレームワークを提案する。
モーションプランナーは、大きな言語モデル(llm)に目標の動きにおける主要な姿勢を記述する一連のスクリプトを生成するよう指示する。
自然言語とは異なり、スクリプトは、非常に単純なテキストテンプレートに従って、あらゆる可能な姿勢を記述できる。
これにより、スクリプトを姿勢に変換する姿勢微分器の複雑さが大幅に減少し、オープンワールド生成への道が開ける。
最後に、go-diffuserは別の拡散モデルとして実装され、すべての姿勢に対する全体翻訳と回転を推定し、現実的な動きをもたらす。
実験により,本手法が他の手法よりも優れていることを示すとともに,複雑なオープンワールドプロンプトから多様で現実的な動作を生成できることを実証した。
プロジェクトページはhttps://moonsliu.github.io/pro-motion。
関連論文リスト
- MotionScript: Natural Language Descriptions for Expressive 3D Human
Motions [8.154044578137217]
MotionScriptはモーション・トゥ・テキスト変換アルゴリズムであり、人体の動きの自然言語表現である。
実験の結果,テキスト・トゥ・モーション・ニューラルタスクでMotionScript表現を使用する場合,身体の動きをより正確に再構成できることがわかった。
論文 参考訳(メタデータ) (2023-12-19T22:33:17Z) - OMG: Towards Open-vocabulary Motion Generation via Mixture of
Controllers [47.53127037556484]
我々は、ゼロショットオープン語彙テキストプロンプトから魅力的な動き生成を可能にする新しいフレームワークOMGを提案する。
事前学習の段階では、ドメイン外固有のリッチな動作特性を学習することで、生成能力を向上させる。
微調整の段階では、テキストプロンプトを条件情報として組み込んだモーションコントロールネットを導入する。
論文 参考訳(メタデータ) (2023-12-14T14:31:40Z) - LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。
まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。
次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-12-05T17:59:52Z) - Story-to-Motion: Synthesizing Infinite and Controllable Character
Animation from Long Text [14.473103773197838]
ストーリー・トゥ・モーション(Story-to-Motion)と呼ばれる新しいタスクは、文字が長いテキスト記述に基づいて特定の動作を行う必要があるときに発生する。
文字制御とテキスト・トゥ・モーションのこれまでの研究は、関連する側面に対処してきたが、包括的解決はいまだ解明されていない。
本稿では,制御可能で無限に長い動きと,入力テキストに整合した軌跡を生成する新しいシステムを提案する。
論文 参考訳(メタデータ) (2023-11-13T16:22:38Z) - Being Comes from Not-being: Open-vocabulary Text-to-Motion Generation
with Wordless Training [178.09150600453205]
本稿では、ゼロショット学習方式でオフラインのオープン語彙テキスト・トゥ・モーション生成について検討する。
NLPの即時学習にインスパイアされ、マスクされた動きから全動作を再構築する動き生成装置を事前訓練する。
本手法では,入力テキストをマスクした動作に再構成することで,動作生成者の動作を再構築する。
論文 参考訳(メタデータ) (2022-10-28T06:20:55Z) - Text-driven Video Prediction [83.04845684117835]
テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。
本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。
進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
論文 参考訳(メタデータ) (2022-10-06T12:43:07Z) - MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。
複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。
体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文 参考訳(メタデータ) (2022-08-31T17:58:54Z) - TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of
3D Human Motions and Texts [20.336481832461168]
視覚と言語との強い結びつきから着想を得た本論文は,テキストから3次元人間のフルボディ運動の生成を探求することを目的とする。
本稿では,離散的かつコンパクトな動き表現である動きトークンを提案する。
私たちのアプローチは柔軟で、text2motionと Motion2textタスクの両方に使用できます。
論文 参考訳(メタデータ) (2022-07-04T19:52:18Z) - TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
テキスト記述から多種多様な人間の動作を生成するという課題に対処する。
本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。
TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
論文 参考訳(メタデータ) (2022-04-25T14:53:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。