論文の概要: Teacher-Student Diffusion Model for Text-Driven 3D Hand Motion Generation
- arxiv url: http://arxiv.org/abs/2603.24407v1
- Date: Wed, 25 Mar 2026 15:21:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:11.359152
- Title: Teacher-Student Diffusion Model for Text-Driven 3D Hand Motion Generation
- Title(参考訳): テキスト駆動型3次元ハンドモーション生成のための教師学習拡散モデル
- Authors: Ching-Lam Cheng, Bin Zhu, Shengfeng He,
- Abstract要約: 既存の方法は、全身の動きに焦点を合わせるか、詳細な手の動きを見渡すか、明示的な3Dオブジェクトメッシュを必要とする。
テキスト駆動手動生成のためのモデルに依存しない教師学生拡散フレームワークTSHaMoを提案する。
- 参考スコア(独自算出の注目度): 54.27025073220947
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Generating realistic 3D hand motion from natural language is vital for VR, robotics, and human-computer interaction. Existing methods either focus on full-body motion, overlooking detailed hand gestures, or require explicit 3D object meshes, limiting generality. We propose TSHaMo, a model-agnostic teacher-student diffusion framework for text-driven hand motion generation. The student model learns to synthesize motions from text alone, while the teacher leverages auxiliary signals (e.g., MANO parameters) to provide structured guidance during training. A co-training strategy enables the student to benefit from the teacher's intermediate predictions while remaining text-only at inference. Evaluated using two diffusion backbones on GRAB and H2O, TSHaMo consistently improves motion quality and diversity. Ablations confirm its robustness and flexibility in using diverse auxiliary inputs without requiring 3D objects at test time.
- Abstract(参考訳): 自然言語からリアルな3Dハンドモーションを生成することは、VR、ロボティクス、人間とコンピュータの相互作用にとって不可欠である。
既存の方法は、全身の動きに焦点を合わせ、詳細な手の動きを見渡すか、明示的な3Dオブジェクトメッシュを必要とするか、一般性を制限する。
テキスト駆動手動生成のためのモデルに依存しない教師学生拡散フレームワークTSHaMoを提案する。
教師は補助的な信号(例えばMANOパラメータ)を活用して、トレーニング中に構造化されたガイダンスを提供する。
共同学習戦略により、推論時にテキストのみを残しながら、教師の中間的予測の恩恵を受けることができる。
GRABとH2Oの2つの拡散バックボーンを用いて評価すると、TSHaMoは運動の質と多様性を一貫して改善する。
アブレーションは、テスト時に3Dオブジェクトを必要とせず、多様な補助入力を使用する際の堅牢性と柔軟性を確認している。
関連論文リスト
- Motion Generation from Fine-grained Textual Descriptions [29.033358642532722]
我々は,ファインヒューマンML3Dという微細なテキスト記述を専門とする大規模言語移動データセットを構築した。
新しいテキスト2モーションモデルであるFineMotionDiffuseを設計し、微細なテキスト情報をフル活用する。
FineMotionDiffuseはFinHumanML3Dで訓練し,FIDを0.38の差で改善した。
論文 参考訳(メタデータ) (2024-03-20T11:38:30Z) - BOTH2Hands: Inferring 3D Hands from Both Text Prompts and Body Dynamics [50.88842027976421]
両手動作生成のための新しいマルチモーダルデータセットBOTH57Mを提案する。
私たちのデータセットには、人体と手の動きの正確な追跡が含まれています。
また,新しいタスクのための強力なベースライン手法であるBOTH2Handsも提供する。
論文 参考訳(メタデータ) (2023-12-13T07:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。