論文の概要: Enforcing Human-like Kinematics in Dexterous Piano Playing via Adversarial Posture Regularization
- arxiv url: http://arxiv.org/abs/2606.23848v1
- Date: Mon, 22 Jun 2026 18:30:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.625315
- Title: Enforcing Human-like Kinematics in Dexterous Piano Playing via Adversarial Posture Regularization
- Title(参考訳): 逆位姿勢正則化による非晶質ピアノ演奏におけるヒト様キネマティクスの強制
- Authors: Bin Qiu, Yanming Shao, Guanyu Cai, Yao Mu,
- Abstract要約: 強化学習は、高音符精度の物理シミュレーションにおいて、両手でピアノを弾くように訓練することができる。
textitAdversarial Posture Regularization (APR)を提案する。
高価な専門家によるデモデータを避け、少数のカジュアルな人間のプレイデータを使用する。
- 参考スコア(独自算出の注目度): 14.0336855139263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning can train bimanual dexterous hands to play piano in physics simulation with high note accuracy, but for high-DoF dexterous hands, relying solely on task rewards or IK inversion often leads to unnatural postures and joint overextension. We propose \textit{Adversarial Posture Regularization (APR)}. It avoids expensive, song-aligned expert demonstration data and instead uses a small amount of casual human playing data. By matching the distribution of the posture of the policy with the human prior through an adversarial objective, APR encourages more human-like hand shapes. Meanwhile, we collect and release unstructured hand motion data of piano playing using a consumer-grade Meta Quest 3, and retarget the key motion information to the Shadow Hand. Finally, we achieve significantly better performance than prior methods on all three human-likeness metrics (cPSI, BSE, and FAC) as well as in visual quality. Project repository: https://github.com/APRProject/APRPianist.
- Abstract(参考訳): 強化学習は、高音速の物理シミュレーションでピアノを弾くためにバイマンディキスタラスハンドを訓練することができるが、ハイDoFディキスタラスハンドでは、タスク報酬やIKインバージョンにのみ依存し、不自然な姿勢や関節の過剰な拡張につながることが多い。
本稿では,APR(textit{Adversarial Posture Regularization)を提案する。
高価な専門家によるデモデータを避け、少数のカジュアルな人間のプレイデータを使用する。
政策の姿勢の分布を、相手の目的を通じて人間と一致させることで、APRはより人間的な手の形を奨励する。
一方,コンシューマグレードのメタクエスト3を用いてピアノ演奏の非構造手の動きデータを収集・リリースし,キー動作情報をシャドウハンドに再ターゲティングする。
最後に,3つのヒト類似度指標(cPSI, BSE, FAC)および視覚的品質において,先行手法よりも優れた性能を実現する。
プロジェクトリポジトリ:https://github.com/APRProject/APRPianist
関連論文リスト
- FürElise: Capturing and Physically Synthesizing Hand Motions of Piano Performance [15.909113091360206]
ピアノ演奏を正確に再現する洗練された手の動きモデルは、キャラクターアニメーション、エンボディAI、バイオメカニクス、VR/ARに幅広い応用がある。
本稿では,153曲のクラシック音楽を演奏する15人のエリートレベルのピアニストによる,約10時間の3D手の動きとオーディオを含む,第1世代の大規模データセットを構築する。
論文 参考訳(メタデータ) (2024-10-08T08:21:05Z) - Pose Priors from Language Models [74.61186408764559]
言語はしばしば物理的相互作用を記述するために使用されるが、ほとんどの3次元人間のポーズ推定方法は、この豊富な情報ソースを見下ろしている。
我々は、コンタクトポーズの再構築に先立って、大型マルチモーダルモデル(LMM)を活用することにより、このギャップを埋める。
論文 参考訳(メタデータ) (2024-05-06T17:59:36Z) - MLP: Motion Label Prior for Temporal Sentence Localization in Untrimmed 3D Human Motions [20.986063755422173]
本研究の目的は,テキストクエリに対応する3次元人間の動作から目標モーメントを見つけることである。
これを改善するために,2つの新しいラベル事前知識学習手法を考案した。
ラベル優先知識をモデルに注入することは,高いIoUでの性能向上に不可欠であることを示す。
論文 参考訳(メタデータ) (2024-04-21T13:25:46Z) - G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis [57.07638884476174]
G-HOPは手-対象相互作用の前駆体である。
人手は骨格距離場を介して表現し、物体の符号付き距離場と整合した表現を得る。
この手動物体は、対話クリップからの再構成や人間のつかみ合成など、他の作業を容易にするための汎用的なガイダンスとして機能することを示す。
論文 参考訳(メタデータ) (2024-04-18T17:59:28Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-12-27T22:35:33Z) - RoboPianist: Dexterous Piano Playing with Deep Reinforcement Learning [61.10744686260994]
本稿では,150曲のピアノ作品の大規模なレパートリーをシミュレートして学習するシステムであるRoboPianistを紹介する。
また,オープンソース環境,タスクのベンチマーク,解釈可能な評価指標,今後の研究課題についても紹介する。
論文 参考訳(メタデータ) (2023-04-09T03:53:05Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳(メタデータ) (2020-09-03T04:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。