論文の概要: MUSIC: Learning Muscle-Driven Dexterous Hand Control
- arxiv url: http://arxiv.org/abs/2604.23886v1
- Date: Sun, 26 Apr 2026 21:05:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.662362
- Title: MUSIC: Learning Muscle-Driven Dexterous Hand Control
- Title（参考訳）: MUSIC:筋駆動型デクスタースハンドコントロールの学習
- Authors: Pei Xu, Yufei Ye, Shuchun Sun, Yu Ding, Elizabeth Schumann, C. Karen Liu,
- Abstract要約: 本稿では,物理に基づく筋力によるデキスタラス制御のためのデータ駆動型アプローチを提案する。
提案手法は,高周波筋レベル制御と低周波潜在空間調整を組み合わせたものである。
提案手法は, 高精度なキープレスで協調したバイマニュアル動作を合成できることを実証する。
- 参考スコア（独自算出の注目度）: 22.43764880740859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a data-driven approach for physics-based, muscle-driven dexterous control that enables musculoskeletal hands to perform precise piano playing for novel pieces of music outside the reference dataset. Our approach combines high-frequency muscle-level control with low-frequency latent-space coordination in a hierarchical architecture. At the low level, general single-hand policies are trained via reinforcement learning to generate dynamic muscle-tendon activations while tracking trajectories from a large reference motion dataset. The resulting tracking policies are then distilled into variational autoencoder (VAE) models, yielding smooth and structured latent spaces that abstract away low-level muscle dynamics. For the high level, we train piece-specific policies to operate in this latent space, coordinating bimanual motions based on specific goals, denoted by note events extracted from given musical scores, to synthesize performances beyond the reference data. In addition, we present an enhanced musculoskeletal hand model that supports fine control of fingers for accurate low-level motion tracking and diverse high-level motion synthesis. We evaluate the control pipeline of our approach on a diverse piano repertoire spanning multiple musical styles and technical demands. Results demonstrate that our approach can synthesize coordinated bimanual motions with accurate key presses, and achieve the state-of-the-art performance of piano playing in physics-based dexterous control. We also show that our musculoskeletal hand model demonstrates superior biomechanical stability and tracking precision compared to the existing model, and validate that our musculoskeletal hand model and muscle-driven controller can generate physiologically plausible activation patterns that align with human electromyography (EMG) recordings.
- Abstract（参考訳）: そこで本研究では,筋骨格ハンドが参照データセットの外側の新たな楽曲に対して,正確なピアノ演奏を行うことのできる,物理に基づく筋肉駆動型デキスタラス制御のための,データ駆動型アプローチを提案する。
提案手法は,高周波筋レベル制御と低周波潜時空間調整を階層構造で組み合わせたものである。
低レベルにおいては、一般的なシングルハンドポリシーは強化学習を通じてトレーニングされ、大きな参照運動データセットからの軌跡を追跡しながら動的筋腱活性化を生成する。
結果として得られるトラッキングポリシーは、変動型オートエンコーダ(VAE)モデルに蒸留され、低レベルの筋肉力学を抽象化する滑らかで構造化された潜在空間が得られる。
高いレベルにおいて、我々は、この潜伏空間で操作するためのピース固有のポリシーを訓練し、与えられた楽譜から抽出した音符イベントによって示される特定の目標に基づいてバイマン動作を調整し、基準データを超えたパフォーマンスを合成する。
さらに, 指の細かな制御を支援する筋骨格モデルを構築し, 高精度な低レベル動作追跡と多種多様な高レベル動作合成を行う。
我々は,複数の音楽スタイルと技術的要求にまたがる多様なピアノレパートリーに対するアプローチの制御パイプラインを評価する。
以上の結果から,本手法は両手動の協調動作を高精度なキープレスで合成し,物理に基づくデキスタラス制御におけるピアノ演奏の最先端性能を実現することができることが示された。
また, 筋骨格ハンドモデルでは, 既存のモデルよりも優れた生体力学的安定性と追跡精度を示し, 筋骨格ハンドモデルと筋駆動コントロールが, ヒトの筋電図(EMG)記録と整合する生理学的に妥当なアクティベーションパターンを生成できることを確認した。
関連論文リスト
- Scaling Whole-Body Human Musculoskeletal Behavior Emulation for Specificity and Diversity [11.002363474183683]
バイオメカニカルに接地した全身運動再生のための大規模並列筋骨格計算フレームワークを提案する。
ダンス、カートホイール、バックフリップなどの高度なダイナミックなタスクに対して、高い関節角度の精度と身体位置のアライメントを実現する。
この研究は、人間の運動の具体的制御の根底にある特異性と多様性を分析するための、抽出可能な計算経路を確立する。
論文 参考訳（メタデータ） (2026-03-31T06:55:10Z) - Towards Embodied AI with MuscleMimic: Unlocking full-body musculoskeletal motor learning at scale [38.15316304510102]
muscleMimicは、生理学的に現実的な筋肉駆動モデルを用いたモーション模倣学習のためのオープンソースのフレームワークである。
筋骨格シミュレーションに計算障壁とデータバリアを下げることにより、マッスルミミックは様々な動的運動にまたがる系統的なモデル検証を可能にする。
論文 参考訳（メタデータ） (2026-03-26T15:18:37Z) - Massively Parallel Imitation Learning of Mouse Forelimb Musculoskeletal Reaching Dynamics [0.5487412578664687]
本稿では,神経科学研究室からキネマティックスデータを収集し,生体力学モデルでそれらの自然な動きを再現するためのパイプラインを作成する。
我々は,模擬物理環境における筋骨格モデルを用いて,器用な前肢到達作業を行うための模倣学習フレームワークを実装した。
論文 参考訳（メタデータ） (2025-11-26T19:23:14Z) - Reinforcement learning-based motion imitation for physiologically plausible musculoskeletal motor control [47.423243831156285]
筋運動制御の理解を深めるために,モデルフリー運動模倣フレームワーク(KINESIS)を提案する。
我々は,KINESISが1.9時間のモーションキャプチャデータに対して強い模倣性能を達成できることを実証した。
キネシスはヒトの筋活動とよく相関する筋活動パターンを生成する。
論文 参考訳（メタデータ） (2025-03-18T18:37:49Z) - FürElise: Capturing and Physically Synthesizing Hand Motions of Piano Performance [15.909113091360206]
ピアノ演奏を正確に再現する洗練された手の動きモデルは、キャラクターアニメーション、エンボディAI、バイオメカニクス、VR/ARに幅広い応用がある。
本稿では,153曲のクラシック音楽を演奏する15人のエリートレベルのピアニストによる,約10時間の3D手の動きとオーディオを含む,第1世代の大規模データセットを構築する。
論文 参考訳（メタデータ） (2024-10-08T08:21:05Z) - MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。
このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。
また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
論文 参考訳（メタデータ） (2024-04-16T02:18:18Z) - Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。
我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。
本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
論文 参考訳（メタデータ） (2023-06-01T07:48:34Z) - BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis [123.73677487809418]
ダンス・モーション・シンセサイザーにおける一般的な仮定に挑戦する新しいデータセットを提案する。
我々は、アクロバティックな動きと絡み合った姿勢を特徴とするブレイクダンスに焦点を当てている。
BRACEデータセットは、3時間30分以上の濃密な注釈付きポーズを含む。
論文 参考訳（メタデータ） (2022-07-20T18:03:54Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳（メタデータ） (2022-06-16T09:06:25Z) - End-to-End Learning of Hybrid Inverse Dynamics Models for Precise and
Compliant Impedance Control [16.88250694156719]
剛体力学モデルの物理的に一貫した慣性パラメータを同定できる新しいハイブリッドモデルの定式化を提案する。
7自由度マニピュレータ上での最先端の逆動力学モデルに対する我々のアプローチを比較した。
論文 参考訳（メタデータ） (2022-05-27T07:39:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。