論文の概要: MotionScript: Natural Language Descriptions for Expressive 3D Human Motions

• arxiv url: http://arxiv.org/abs/2312.12634v4
• Date: Sun, 16 Mar 2025 17:50:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:58:15.398084
• Title: MotionScript: Natural Language Descriptions for Expressive 3D Human Motions
• Title（参考訳）: MotionScript: 表現力のある3Dヒューマンモーションのための自然言語記述
• Authors: Payam Jome Yazdian, Rachel Lagasse, Hamid Mohammadi, Eric Liu, Li Cheng, Angelica Lim,
• Abstract要約: 人間の3次元動作の詳細な自然言語記述を生成するための新しいフレームワークであるMotionScriptを紹介した。 MotionScriptは、人間の動きの完全な複雑さを捉える、きめ細かい構造化された記述を提供する。 MotionScriptは、テキスト・トゥ・モーションモデルのための記述ツールとトレーニングリソースの両方として機能する。
• 参考スコア（独自算出の注目度）: 8.050271017133076
• License:
• Abstract: We introduce MotionScript, a novel framework for generating highly detailed, natural language descriptions of 3D human motions. Unlike existing motion datasets that rely on broad action labels or generic captions, MotionScript provides fine-grained, structured descriptions that capture the full complexity of human movement including expressive actions (e.g., emotions, stylistic walking) and interactions beyond standard motion capture datasets. MotionScript serves as both a descriptive tool and a training resource for text-to-motion models, enabling the synthesis of highly realistic and diverse human motions from text. By augmenting motion datasets with MotionScript captions, we demonstrate significant improvements in out-of-distribution motion generation, allowing large language models (LLMs) to generate motions that extend beyond existing data. Additionally, MotionScript opens new applications in animation, virtual human simulation, and robotics, providing an interpretable bridge between intuitive descriptions and motion synthesis. To the best of our knowledge, this is the first attempt to systematically translate 3D motion into structured natural language without requiring training data.
• Abstract（参考訳）: 人間の3次元動作の詳細な自然言語記述を生成するための新しいフレームワークであるMotionScriptを紹介した。 幅広いアクションラベルや一般的なキャプションに依存する既存のモーションデータセットとは異なり、MotionScriptは、表現力のあるアクション(例えば、感情、スタイリスティックウォーキング)や、標準的なモーションキャプチャデータセットを超えたインタラクションを含む、人間の動きの完全な複雑さを捉える、きめ細かい構造化された記述を提供する。 MotionScriptは、テキスト・トゥ・モーションモデルのための記述ツールとトレーニングリソースの両方として機能し、テキストから高度に現実的で多様な人間の動きを合成することを可能にする。 動作データセットをMotionScriptキャプションで拡張することにより、配布外動作生成の大幅な改善を示し、大きな言語モデル(LLM)が既存のデータを超えて拡張された動作を生成することができる。 さらに、MotionScriptはアニメーション、仮想人間シミュレーション、ロボット工学の新しい応用を開放し、直感的な記述とモーション合成の間の解釈可能なブリッジを提供する。 我々の知る限りでは、これは3Dモーションを学習データを必要とせずに構造化された自然言語に体系的に翻訳する最初の試みである。

関連論文リスト

• LocoMotion: Learning Motion-Focused Video-Language Representations [45.33444862034461]
  局所物体の動きと時間的進行を記述した動きに着目したキャプションからLocoMotionを提案する。 ビデオに合成動作を追加し、これらの動きのパラメータを用いて対応するキャプションを生成することで、これを実現する。
  論文  参考訳（メタデータ） (2024-10-15T19:33:57Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• Motion Generation from Fine-grained Textual Descriptions [29.033358642532722]
  我々は,ファインヒューマンML3Dという微細なテキスト記述を専門とする大規模言語移動データセットを構築した。 新しいテキスト2モーションモデルであるFineMotionDiffuseを設計し、微細なテキスト情報をフル活用する。 FineMotionDiffuseはFinHumanML3Dで訓練し,FIDを0.38の差で改善した。
  論文  参考訳（メタデータ） (2024-03-20T11:38:30Z)
• Plan, Posture and Go: Towards Open-World Text-to-Motion Generation [43.392549755386135]
  Pro-Motion という分断型フレームワークを提案する。 モーションプランナー、姿勢ディフューザ、go-diffuserの3つのモジュールで構成されている。 Pro-Motionは複雑なオープンワールドプロンプトから多様でリアルな動きを生成することができる。
  論文  参考訳（メタデータ） (2023-12-22T17:02:45Z)
• LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
  この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。 まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。 次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-12-05T17:59:52Z)
• MotionGPT: Human Motion as a Foreign Language [47.21648303282788]
  人間の動きは人間の言語に似た意味的な結合を示し、しばしば身体言語の一種として認識される。 大規模モーションモデルで言語データを融合することにより、動き言語事前学習は、動きに関連したタスクのパフォーマンスを向上させることができる。 我々は,複数の動作関連タスクを処理するために,統一的で汎用的でユーザフレンドリな動作言語モデルであるMotionGPTを提案する。
  論文  参考訳（メタデータ） (2023-06-26T15:53:02Z)
• HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
  本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
  論文  参考訳（メタデータ） (2022-10-18T10:14:11Z)
• Language-Guided Face Animation by Recurrent StyleGAN-based Generator [87.56260982475564]
  本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。 本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
  論文  参考訳（メタデータ） (2022-08-11T02:57:30Z)
• Synthesis of Compositional Animations from Textual Descriptions [54.85920052559239]
  「どんなに非構造的で複雑で、文を作りながら、それからもっともらしい動きを生成できるのか。」 「映画の脚本から3Dキャラクタをアニメーションしたり、ロボットに何をしたいのかを伝えるだけで動かせるのか?」
  論文  参考訳（メタデータ） (2021-03-26T18:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。