論文の概要: MotionScript: Natural Language Descriptions for Expressive 3D Human
Motions
- arxiv url: http://arxiv.org/abs/2312.12634v1
- Date: Tue, 19 Dec 2023 22:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 17:38:40.156533
- Title: MotionScript: Natural Language Descriptions for Expressive 3D Human
Motions
- Title(参考訳): MotionScript: 表現力のある3Dヒューマンモーションのための自然言語記述
- Authors: Payam Jome Yazdian, Eric Liu, Li Cheng, Angelica Lim
- Abstract要約: MotionScriptはモーション・トゥ・テキスト変換アルゴリズムであり、人体の動きの自然言語表現である。
実験の結果,テキスト・トゥ・モーション・ニューラルタスクでMotionScript表現を使用する場合,身体の動きをより正確に再構成できることがわかった。
- 参考スコア(独自算出の注目度): 8.154044578137217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes MotionScript, a motion-to-text conversion algorithm and
natural language representation for human body motions. MotionScript aims to
describe movements in greater detail and with more accuracy than previous
natural language approaches. Many motion datasets describe relatively objective
and simple actions with little variation on the way they are expressed (e.g.
sitting, walking, dribbling a ball). But for expressive actions that contain a
diversity of movements in the class (e.g. being sad, dancing), or for actions
outside the domain of standard motion capture datasets (e.g. stylistic walking,
sign-language), more specific and granular natural language descriptions are
needed. Our proposed MotionScript descriptions differ from existing natural
language representations in that it provides direct descriptions in natural
language instead of simple action labels or high-level human captions. To the
best of our knowledge, this is the first attempt at translating 3D motions to
natural language descriptions without requiring training data. Our experiments
show that when MotionScript representations are used in a text-to-motion neural
task, body movements are more accurately reconstructed, and large language
models can be used to generate unseen complex motions.
- Abstract(参考訳): 本稿では、人体の動きに対するモーション・トゥ・テキスト変換アルゴリズムと自然言語表現であるMotionScriptを提案する。
motionscriptは、以前の自然言語アプローチよりも、より詳細に、より正確に動きを記述することを目的としている。
多くの動きデータセットは、相対的に客観的で単純な動作を記述し、表現方法のばらつきがほとんどない(例えば、座って歩いたり、ボールをドリブルしたり)。
しかし、クラス内のさまざまな動き(例えば悲しい、踊っている)を含む表現的な行動や、標準的なモーションキャプチャーデータセット(例えば、スタイリスティックウォーキング、手話)の領域外の行動に対しては、より具体的できめ細かい自然言語記述が必要である。
提案するモーションスクリプト記述は、単純なアクションラベルや人間のキャプションではなく、自然言語による直接記述を提供するという点で、既存の自然言語表現とは異なる。
我々の知る限りでは、これは訓練データを必要としない3Dモーションを自然言語記述に翻訳する最初の試みである。
実験により, テキスト・トゥ・モーション・ニューラルタスクにおいてMotionScript表現が使用される場合, 身体の動きをより正確に再構成し, 未知の複雑な動きを生成するために, 大規模言語モデルを用いることができた。
関連論文リスト
- Plan, Posture and Go: Towards Open-World Text-to-Motion Generation [43.392549755386135]
Pro-Motion という分断型フレームワークを提案する。
モーションプランナー、姿勢ディフューザ、go-diffuserの3つのモジュールで構成されている。
Pro-Motionは複雑なオープンワールドプロンプトから多様でリアルな動きを生成することができる。
論文 参考訳(メタデータ) (2023-12-22T17:02:45Z) - Iterative Motion Editing with Natural Language [26.03987547043184]
本稿では,既存の文字アニメーションに局所的な編集を反復的に指定するために自然言語を用いる手法を提案する。
我々は、既存の言語を利用して、モーション編集のテキスト記述をモーション編集オペレータのシーケンスに変換するアルゴリズムを提案する。
本システムは,アニメーターの編集意図を尊重し,オリジナルアニメーションに忠実であり,リアルなキャラクターアニメーション結果が得られることを実証する。
論文 参考訳(メタデータ) (2023-12-15T22:38:24Z) - LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。
まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。
次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-12-05T17:59:52Z) - Story-to-Motion: Synthesizing Infinite and Controllable Character
Animation from Long Text [14.473103773197838]
ストーリー・トゥ・モーション(Story-to-Motion)と呼ばれる新しいタスクは、文字が長いテキスト記述に基づいて特定の動作を行う必要があるときに発生する。
文字制御とテキスト・トゥ・モーションのこれまでの研究は、関連する側面に対処してきたが、包括的解決はいまだ解明されていない。
本稿では,制御可能で無限に長い動きと,入力テキストに整合した軌跡を生成する新しいシステムを提案する。
論文 参考訳(メタデータ) (2023-11-13T16:22:38Z) - MotionGPT: Human Motion as a Foreign Language [47.21648303282788]
人間の動きは人間の言語に似た意味的な結合を示し、しばしば身体言語の一種として認識される。
大規模モーションモデルで言語データを融合することにより、動き言語事前学習は、動きに関連したタスクのパフォーマンスを向上させることができる。
我々は,複数の動作関連タスクを処理するために,統一的で汎用的でユーザフレンドリな動作言語モデルであるMotionGPTを提案する。
論文 参考訳(メタデータ) (2023-06-26T15:53:02Z) - HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。
実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
論文 参考訳(メタデータ) (2022-10-18T10:14:11Z) - TEACH: Temporal Action Composition for 3D Humans [50.97135662063117]
自然言語の一連の記述を前提として,テキストに意味的に対応する3次元の人間の動作を生成する。
特に、我々のゴールは一連のアクションの合成を可能にすることであり、これは時間的アクション合成と呼ばれる。
論文 参考訳(メタデータ) (2022-09-09T00:33:40Z) - Language-Guided Face Animation by Recurrent StyleGAN-based Generator [65.82277526057294]
本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。
本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
論文 参考訳(メタデータ) (2022-08-11T02:57:30Z) - Synthesis of Compositional Animations from Textual Descriptions [54.85920052559239]
「どんなに非構造的で複雑で、文を作りながら、それからもっともらしい動きを生成できるのか。」
「映画の脚本から3Dキャラクタをアニメーションしたり、ロボットに何をしたいのかを伝えるだけで動かせるのか?」
論文 参考訳(メタデータ) (2021-03-26T18:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。