論文の概要: Story-to-Motion: Synthesizing Infinite and Controllable Character
Animation from Long Text
- arxiv url: http://arxiv.org/abs/2311.07446v1
- Date: Mon, 13 Nov 2023 16:22:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 13:49:29.588745
- Title: Story-to-Motion: Synthesizing Infinite and Controllable Character
Animation from Long Text
- Title（参考訳）: ストーリー・トゥ・モーション:長文からの無限・制御可能な文字アニメーションの合成
- Authors: Zhongfei Qing, Zhongang Cai, Zhitao Yang and Lei Yang
- Abstract要約: ストーリー・トゥ・モーション(Story-to-Motion)と呼ばれる新しいタスクは、文字が長いテキスト記述に基づいて特定の動作を行う必要があるときに発生する。
文字制御とテキスト・トゥ・モーションのこれまでの研究は、関連する側面に対処してきたが、包括的解決はいまだ解明されていない。
本稿では,制御可能で無限に長い動きと,入力テキストに整合した軌跡を生成する新しいシステムを提案する。
- 参考スコア（独自算出の注目度）: 14.473103773197838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating natural human motion from a story has the potential to transform
the landscape of animation, gaming, and film industries. A new and challenging
task, Story-to-Motion, arises when characters are required to move to various
locations and perform specific motions based on a long text description. This
task demands a fusion of low-level control (trajectories) and high-level
control (motion semantics). Previous works in character control and
text-to-motion have addressed related aspects, yet a comprehensive solution
remains elusive: character control methods do not handle text description,
whereas text-to-motion methods lack position constraints and often produce
unstable motions. In light of these limitations, we propose a novel system that
generates controllable, infinitely long motions and trajectories aligned with
the input text. (1) We leverage contemporary Large Language Models to act as a
text-driven motion scheduler to extract a series of (text, position, duration)
pairs from long text. (2) We develop a text-driven motion retrieval scheme that
incorporates motion matching with motion semantic and trajectory constraints.
(3) We design a progressive mask transformer that addresses common artifacts in
the transition motion such as unnatural pose and foot sliding. Beyond its
pioneering role as the first comprehensive solution for Story-to-Motion, our
system undergoes evaluation across three distinct sub-tasks: trajectory
following, temporal action composition, and motion blending, where it
outperforms previous state-of-the-art motion synthesis methods across the
board. Homepage: https://story2motion.github.io/.
- Abstract（参考訳）: ストーリーから自然な人間の動きを生み出すことは、アニメーション、ゲーム、映画産業の風景を変える可能性がある。
文字が様々な場所に移動し、長いテキスト記述に基づいて特定の動きを行う必要があるとき、新しく挑戦的なタスクであるストーリー・トゥ・モーションが生まれます。
このタスクは低レベル制御(軌道)と高レベル制御(モーションセマンティクス)の融合を必要とする。
キャラクタ制御メソッドはテキスト記述を扱わないが、text-to-motionメソッドは位置制約がなく、しばしば不安定な動きを生成する。
これらの制約を考慮し、制御可能で無限に長い動きと入力テキストに沿った軌跡を生成する新しいシステムを提案する。
1) 現代大規模言語モデルを利用してテキスト駆動型モーションスケジューラとして機能し, 長いテキストから一連の(テキスト, 位置, 持続時間)ペアを抽出する。
2) 動きのセマンティクスと軌跡制約を組み込んだテキスト駆動型動き検索手法を開発した。
3) 不自然なポーズや足の滑りといった遷移運動における共通のアーティファクトに対処するプログレッシブマスクトランスを設計。
ストーリー・トゥ・モーションのための最初の包括的なソリューションとしての先駆的な役割の他に、本システムは、軌道追従、時間的アクション構成、モーションブレンディングという3つの異なるサブタスクで評価を行い、ボード全体の最新のモーション合成方法よりも優れています。
ホームページ: https://story2motion.github.io/
関連論文リスト
- DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control [12.465927271402442]
テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。
DARTは、リアルタイムテキスト駆動モーション制御のための拡散型自動回帰モーションプリミティブモデルである。
動作合成タスクにおいて,モデルの汎用性と優れた性能を実証し,両手法に有効なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-07T17:58:22Z) - Unimotion: Unifying 3D Human Motion Synthesis and Understanding [47.18338511861108]
フレキシブル・モーション・コントロールとフレームレベルのモーション・理解を両立できる初のマルチタスク・ヒューマン・モーション・モデルであるUnimotionを導入する。
Unimotionは、グローバルテキストやローカルフレームレベルのテキストでモーションを制御できる。
論文 参考訳（メタデータ） (2024-09-24T09:20:06Z) - Infinite Motion: Extended Motion Generation via Long Text Instructions [51.61117351997808]
『無限運動』は、長文を長文から拡張運動生成に活用する新しいアプローチである。
我々のモデルの主な革新は、任意の長さのテキストを入力として受け入れることである。
テキストのタイムスタンプ設計を取り入れ、生成されたシーケンス内のローカルセグメントの正確な編集を可能にする。
論文 参考訳（メタデータ） (2024-07-11T12:33:56Z) - Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。
我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。
トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
論文 参考訳（メタデータ） (2024-04-16T16:04:38Z) - LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。
まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。
次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-12-05T17:59:52Z) - AttT2M: Text-Driven Human Motion Generation with Multi-Perspective
Attention Mechanism [24.049207982022214]
マルチパースペクティブアテンション機構を持つ2段階手法である textbftT2M を提案する。
本手法は, 定性的, 定量的評価の観点から, 現在の最先端技術よりも優れている。
論文 参考訳（メタデータ） (2023-09-02T02:18:17Z) - Synthesizing Long-Term Human Motions with Diffusion Models via Coherent
Sampling [74.62570964142063]
テキスト・トゥ・モーション・ジェネレーションは注目されているが、既存の手法のほとんどは短期的な動きに限られている。
本稿では,2つのコヒーレントサンプリング手法を用いた過去の拡散モデルを用いた新しい手法を提案する。
提案手法は,ユーザの指示した長文ストリームによって制御された,構成的かつコヒーレントな3次元人間の動作を生成することができる。
論文 参考訳（メタデータ） (2023-08-03T16:18:32Z) - MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。
複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。
体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文 参考訳（メタデータ） (2022-08-31T17:58:54Z) - TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of
3D Human Motions and Texts [20.336481832461168]
視覚と言語との強い結びつきから着想を得た本論文は,テキストから3次元人間のフルボディ運動の生成を探求することを目的とする。
本稿では,離散的かつコンパクトな動き表現である動きトークンを提案する。
私たちのアプローチは柔軟で、text2motionと Motion2textタスクの両方に使用できます。
論文 参考訳（メタデータ） (2022-07-04T19:52:18Z) - Synthesis of Compositional Animations from Textual Descriptions [54.85920052559239]
「どんなに非構造的で複雑で、文を作りながら、それからもっともらしい動きを生成できるのか。」
「映画の脚本から3Dキャラクタをアニメーションしたり、ロボットに何をしたいのかを伝えるだけで動かせるのか?」
論文 参考訳（メタデータ） (2021-03-26T18:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。