論文の概要: DrawMotion: Generating 3D Human Motions by Freehand Drawing
- arxiv url: http://arxiv.org/abs/2605.20955v1
- Date: Wed, 20 May 2026 09:43:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.60378
- Title: DrawMotion: Generating 3D Human Motions by Freehand Drawing
- Title(参考訳): フリーハンドドローイングによる3次元人体動作の生成
- Authors: Tao Wang, Lei Jin, Zhihua Wu, Qiaozhi He, Jiaming Chu, Yu Cheng, Junliang Xing, Jian Zhao, Shuicheng Yan, Li Wang,
- Abstract要約: 本稿では,多条件シナリオ用に設計された効率的な拡散ベースのフレームワークであるDrawMotionを紹介する。
我々は,1)フリーハンドドローイング条件,2)マルチコンディション融合,3)トレーニングフリーガイダンスの3つの視点から,きめ細かな動作生成タスクに取り組む。
実験とユーザスタディにより、フリーハンドドローイングアプローチは、イマジネーションに沿った動きを生成すると、ユーザ時間を約46.7%削減することが示された。
- 参考スコア(独自算出の注目度): 64.44582376360027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-motion generation, which translates textual descriptions into human motions, faces the challenge that users often struggle to precisely convey their intended motions through text alone. To address this issue, this paper introduces DrawMotion, an efficient diffusion-based framework designed for multi-condition scenarios. DrawMotion generates motions based on both a conventional text condition and a novel hand-drawing condition, which provide semantic and spatial control over the generated motions, respectively. Specifically, we tackle the fine-grained motion generation task from three perspectives: 1) freehand drawing condition. To accurately capture users' intended motions without requiring tedious textual input, we develop an algorithm to automatically generate hand-drawn stickman sketches across different dataset formats; 2) multi-condition fusion. We propose a Multi-Condition Module (MCM) that is integrated into the diffusion process, enabling the model to exploit all possible condition combinations while reducing computational complexity compared to conventional approaches; and 3) training-free guidance. Notably, the MCM in DrawMotion ensures that its intermediate features lie in a continuous space, allowing classifier-guidance gradients to update the features and thereby aligning the generated motions with user intentions while preserving fidelity. Quantitative experiments and user studies demonstrate that the freehand drawing approach reduces user time by approximately 46.7% when generating motions aligned with their imagination. The code, demos, and relevant data are publicly available at https://github.com/InvertedForest/DrawMotion.
- Abstract(参考訳): テキスト・トゥ・モーション・ジェネレーション(テキスト・トゥ・モーション・ジェネレーション)は、テキストによる記述を人間の動きに翻訳するが、ユーザーがテキストだけで意図した動きを正確に伝えるのに苦戦する課題に直面している。
この問題に対処するために,多条件シナリオ用に設計された効率的な拡散ベースのフレームワークであるDrawMotionを紹介する。
DrawMotionは、従来のテキスト条件と新しい手書き条件の両方に基づいて動きを生成し、それぞれ生成された動きに対する意味的および空間的制御を提供する。
具体的には,3つの視点から細粒度運動生成課題に取り組む。
1)フリーハンドドローイング条件。
退屈なテキスト入力を必要とせず、ユーザの意図した動作を正確にキャプチャするために、さまざまなデータセットフォーマットで手書きのスティックマンスケッチを自動的に生成するアルゴリズムを開発した。
2)多条件核融合。
拡散過程に統合されたMCM(Multi-Condition Module)を提案し,従来の手法と比較して計算複雑性を低減しつつ,可能な全ての条件の組み合わせを活用できるようにする。
3)無訓練指導。
特に、DrawMotionのMCMは、その中間機能が連続した空間にあることを保証し、分類器誘導勾配が特徴を更新し、それによって生成した動きをユーザーの意図と一致させ、忠実さを保っている。
定量的実験とユーザスタディにより、フリーハンドドローイングアプローチは、その想像力に合わせた動きを生成すると、ユーザ時間を約46.7%削減することを示した。
コード、デモ、関連データはhttps://github.com/InvertedForest/DrawMotion.comで公開されている。
関連論文リスト
- Towards Robust and Controllable Text-to-Motion via Masked Autoregressive Diffusion [33.9786226622757]
テキスト記述から3次元動作を生成するための頑健な動き生成フレームワークMoMADiffを提案する。
我々のモデルはフレキシブルなユーザ提供仕様をサポートし、動き合成の空間的側面と時間的側面の両方を正確に制御できる。
提案手法は, 動作品質, 命令忠実度, 定着度において, 常に最先端のモデルより優れる。
論文 参考訳(メタデータ) (2025-05-16T09:06:15Z) - AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models [5.224806515926022]
外部データを持たない任意の文字に対するフレーム間の動きを生成する新しい手法であるAnyMoLeを導入する。
本手法では,文脈理解を高めるために2段階のフレーム生成プロセスを用いる。
論文 参考訳(メタデータ) (2025-03-11T13:28:59Z) - StickMotion: Generating 3D Human Motions by Drawing a Stickman [26.545325426524006]
本稿では,多条件シナリオ用に設計された効率的な拡散型ネットワークであるStickMotionを紹介する。
我々は,手書きのステッカーを異なるデータセットフォーマットで自動生成するアルゴリズムを開発した。
拡散過程に統合し,可能な全ての条件の組み合わせの出力を得る多条件モジュールを提案する。
論文 参考訳(メタデータ) (2025-03-05T07:16:14Z) - Motion Generation from Fine-grained Textual Descriptions [29.033358642532722]
我々は,ファインヒューマンML3Dという微細なテキスト記述を専門とする大規模言語移動データセットを構築した。
新しいテキスト2モーションモデルであるFineMotionDiffuseを設計し、微細なテキスト情報をフル活用する。
FineMotionDiffuseはFinHumanML3Dで訓練し,FIDを0.38の差で改善した。
論文 参考訳(メタデータ) (2024-03-20T11:38:30Z) - BOTH2Hands: Inferring 3D Hands from Both Text Prompts and Body Dynamics [50.88842027976421]
両手動作生成のための新しいマルチモーダルデータセットBOTH57Mを提案する。
私たちのデータセットには、人体と手の動きの正確な追跡が含まれています。
また,新しいタスクのための強力なベースライン手法であるBOTH2Handsも提供する。
論文 参考訳(メタデータ) (2023-12-13T07:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。