Fugu-MT 論文翻訳(概要): Motion Generation from Fine-grained Textual Descriptions

論文の概要: Motion Generation from Fine-grained Textual Descriptions

arxiv url: http://arxiv.org/abs/2403.13518v2
Date: Tue, 26 Mar 2024 11:16:47 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 21:14:52.695552
Title: Motion Generation from Fine-grained Textual Descriptions
Title（参考訳）: 微粒なテクスチャ記述からの運動生成
Authors: Kunhang Li, Yansong Feng,
Abstract要約: 我々は,ファインヒューマンML3Dという微細なテキスト記述を専門とする大規模言語移動データセットを構築した。新しいテキスト2モーションモデルであるFineMotionDiffuseを設計し、微細なテキスト情報をフル活用する。 FineMotionDiffuseはFinHumanML3Dで訓練し,FIDを0.38の差で改善した。
参考スコア（独自算出の注目度）: 29.033358642532722
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The task of text2motion is to generate human motion sequences from given textual descriptions, where the model explores diverse mappings from natural language instructions to human body movements. While most existing works are confined to coarse-grained motion descriptions, e.g., "A man squats.", fine-grained descriptions specifying movements of relevant body parts are barely explored. Models trained with coarse-grained texts may not be able to learn mappings from fine-grained motion-related words to motion primitives, resulting in the failure to generate motions from unseen descriptions. In this paper, we build a large-scale language-motion dataset specializing in fine-grained textual descriptions, FineHumanML3D, by feeding GPT-3.5-turbo with step-by-step instructions with pseudo-code compulsory checks. Accordingly, we design a new text2motion model, FineMotionDiffuse, making full use of fine-grained textual information. Our quantitative evaluation shows that FineMotionDiffuse trained on FineHumanML3D improves FID by a large margin of 0.38, compared with competitive baselines. According to the qualitative evaluation and case study, our model outperforms MotionDiffuse in generating spatially or chronologically composite motions, by learning the implicit mappings from fine-grained descriptions to the corresponding basic motions. We release our data at https://github.com/KunhangL/finemotiondiffuse.
Abstract（参考訳）: text2motionのタスクは、与えられたテキスト記述から人間の動作シーケンスを生成することであり、そこでモデルは自然言語の指示から人体の動きへの多様なマッピングを探索する。現存する作品の多くは粗い動きの記述に限られているが、例えば「男がしゃがむ」など、関連する身体部分の動きを規定するきめ細かい記述はほとんど探索されていない。粗粒度テキストで訓練されたモデルは、微粒な動きに関連する単語から運動プリミティブへのマッピングを学習することができず、その結果、目に見えない記述から動きを生成することができない。本稿では,GPT-3.5-turboに擬似コード強制チェックによるステップバイステップ命令を付与することにより,微細なテキスト記述を専門とする大規模言語運動データセットFineHumanML3Dを構築する。そこで我々は,微細なテキスト情報をフル活用した新しいテキスト2モーションモデルであるFineMotionDiffuseを設計した。我々はFinMotionDiffuseをFinHumanML3Dで訓練し,FIDを0.38の差で改善した。定性的評価とケーススタディによると,本モデルは,微粒な記述から対応する基本動作への暗黙のマッピングを学習することにより,空間的あるいは時間的に複合的な動きを生成する上で,MotionDiffuseよりも優れている。データはhttps://github.com/KunhangL/finemotiondiffuse.comで公開しています。

関連論文リスト

MotionFix: Text-Driven 3D Human Motion Editing [52.11745508960547]
主な課題は、トレーニングデータの不足と、ソースの動きを正確に編集するモデルの設計である。本研究では, (i) 震源運動, (ii) 目標運動, (iii) 編集テキストからなる三つ組のデータセットを半自動で収集する手法を提案する。このデータにアクセスすると、ソースモーションと編集テキストの両方を入力として取り込む条件拡散モデルTMEDをトレーニングできます。
論文参考訳（メタデータ） (2024-08-01T16:58:50Z)
Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
論文参考訳（メタデータ） (2024-04-16T16:04:38Z)
BOTH2Hands: Inferring 3D Hands from Both Text Prompts and Body Dynamics [50.88842027976421]
両手動作生成のための新しいマルチモーダルデータセットBOTH57Mを提案する。私たちのデータセットには、人体と手の動きの正確な追跡が含まれています。また,新しいタスクのための強力なベースライン手法であるBOTH2Handsも提供する。
論文参考訳（メタデータ） (2023-12-13T07:30:19Z)
LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文参考訳（メタデータ） (2023-12-05T17:59:52Z)
Story-to-Motion: Synthesizing Infinite and Controllable Character Animation from Long Text [14.473103773197838]
ストーリー・トゥ・モーション(Story-to-Motion)と呼ばれる新しいタスクは、文字が長いテキスト記述に基づいて特定の動作を行う必要があるときに発生する。文字制御とテキスト・トゥ・モーションのこれまでの研究は、関連する側面に対処してきたが、包括的解決はいまだ解明されていない。本稿では,制御可能で無限に長い動きと,入力テキストに整合した軌跡を生成する新しいシステムを提案する。
論文参考訳（メタデータ） (2023-11-13T16:22:38Z)
Act As You Wish: Fine-Grained Control of Motion Diffusion Model with Hierarchical Semantic Graphs [31.244039305932287]
動き生成のきめ細かい制御のための階層的意味グラフを提案する。動作記述を階層的なセマンティックグラフに分解し,3段階の動作,行動,具体性を含む。提案手法は, コミュニティに多大な影響を及ぼす可能性のある, 生成した動きを連続的に改善することができる。
論文参考訳（メタデータ） (2023-11-02T06:20:23Z)
MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文参考訳（メタデータ） (2022-08-31T17:58:54Z)
TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of 3D Human Motions and Texts [20.336481832461168]
視覚と言語との強い結びつきから着想を得た本論文は,テキストから3次元人間のフルボディ運動の生成を探求することを目的とする。本稿では,離散的かつコンパクトな動き表現である動きトークンを提案する。私たちのアプローチは柔軟で、text2motionと Motion2textタスクの両方に使用できます。
論文参考訳（メタデータ） (2022-07-04T19:52:18Z)
TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
テキスト記述から多種多様な人間の動作を生成するという課題に対処する。本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
論文参考訳（メタデータ） (2022-04-25T14:53:06Z)
Synthesis of Compositional Animations from Textual Descriptions [54.85920052559239]
「どんなに非構造的で複雑で、文を作りながら、それからもっともらしい動きを生成できるのか。」「映画の脚本から3Dキャラクタをアニメーションしたり、ロボットに何をしたいのかを伝えるだけで動かせるのか?」
論文参考訳（メタデータ） (2021-03-26T18:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。