論文の概要: Towards Learning to Play Piano with Dexterous Hands and Touch

• arxiv url: http://arxiv.org/abs/2106.02040v1
• Date: Thu, 3 Jun 2021 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 12:14:32.901926
• Title: Towards Learning to Play Piano with Dexterous Hands and Touch
• Title（参考訳）: 器用な手と触覚でピアノを弾くことを学ぶ
• Authors: Huazhe Xu, Yuping Luo, Shaoxiong Wang, Trevor Darrell, Roberto Calandra
• Abstract要約: そこで我々は,エージェントが機械可読音楽から直接学習して,模擬ピアノで器用な手でピアノを弾く方法を示した。 我々は、タッチ強化された報酬と、新しいタスクのカリキュラムを使用することで、これを実現する。
• 参考スコア（独自算出の注目度）: 79.48656721563795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The virtuoso plays the piano with passion, poetry and extraordinary technical ability. As Liszt said (a virtuoso)must call up scent and blossom, and breathe the breath of life. The strongest robots that can play a piano are based on a combination of specialized robot hands/piano and hardcoded planning algorithms. In contrast to that, in this paper, we demonstrate how an agent can learn directly from machine-readable music score to play the piano with dexterous hands on a simulated piano using reinforcement learning (RL) from scratch. We demonstrate the RL agents can not only find the correct key position but also deal with various rhythmic, volume and fingering, requirements. We achieve this by using a touch-augmented reward and a novel curriculum of tasks. We conclude by carefully studying the important aspects to enable such learning algorithms and that can potentially shed light on future research in this direction.
• Abstract（参考訳）: ヴィルトゥオーソは情熱と詩と並外れた技術的能力でピアノを弾く。 リストが言ったように(ヴィルトゥオーソ)、香りと花を呼び起こし、息を吸う。 ピアノを弾ける最強のロボットは、特殊なロボットの手/ピアノとハードコードされた計画アルゴリズムの組み合わせに基づいている。 これとは対照的に,本論文では,エージェントが機械可読音楽から直接学習し,ピアノをシミュレートピアノでデクタラスハンドで演奏する方法を,強化学習(rl)をスクラッチから示す。 我々はRLエージェントが正しいキー位置を見つけるだけでなく、様々なリズミカル、ボリューム、フィンガーグの要求に対処できることを示した。 我々は,タッチによる報酬と新しいタスクカリキュラムを用いてこれを実現する。 我々は,このような学習アルゴリズムを実現するために重要な側面を慎重に研究することで,今後の研究に光を当てることができると結論付けた。

関連論文リスト

• FürElise: Capturing and Physically Synthesizing Hand Motions of Piano Performance [15.909113091360206]
  ピアノ演奏を正確に再現する洗練された手の動きモデルは、キャラクターアニメーション、エンボディAI、バイオメカニクス、VR/ARに幅広い応用がある。 本稿では,153曲のクラシック音楽を演奏する15人のエリートレベルのピアニストによる,約10時間の3D手の動きとオーディオを含む,第1世代の大規模データセットを構築する。
  論文  参考訳（メタデータ） (2024-10-08T08:21:05Z)
• RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands [57.64308229980045]
  ロボットピアノ100万のデータセットには,100万回以上の軌跡の動作データをバイマニュアルで演奏するロボットピアノが組み込まれている。 指の配置を最適な移動問題として定式化し、大量の未収録曲の自動アノテーションを可能にする。 既存の模倣学習手法のベンチマークでは、RP1Mを活用することにより、最先端のロボットピアノ演奏性能に達することが示されている。
  論文  参考訳（メタデータ） (2024-08-20T17:56:52Z)
• PianoBART: Symbolic Piano Music Generation and Understanding with Large-Scale Pre-Training [8.484581633133542]
  PianoBARTは、BARTを象徴的なピアノ音楽の生成と理解の両方に使用する事前訓練されたモデルである。 我々は,PanoBARTの事前学習タスクに対して,情報漏洩や損失を防止できる多レベルオブジェクト選択戦略を考案した。 実験により、ピアノBARTは効率よく音楽パターンを学習し、高品質なコヒーレントな作品を生成する際、優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-06-26T03:35:54Z)
• PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance [15.21347897534943]
  ピアノ演奏のための手の動きと指の動きをガイドするピアノハンド動作生成ベンチマークを構築した。 この目的のために,1000万個の手ポーズを持つ鳥眼ビューから116時間のピアノ演奏ビデオからなる注釈付きデータセットPianoMotion10Mを収集した。
  論文  参考訳（メタデータ） (2024-06-13T17:05:23Z)
• RoboPianist: Dexterous Piano Playing with Deep Reinforcement Learning [61.10744686260994]
  本稿では,150曲のピアノ作品の大規模なレパートリーをシミュレートして学習するシステムであるRoboPianistを紹介する。 また,オープンソース環境,タスクのベンチマーク,解釈可能な評価指標,今後の研究課題についても紹介する。
  論文  参考訳（メタデータ） (2023-04-09T03:53:05Z)
• At Your Fingertips: Extracting Piano Fingering Instructions from Videos [45.643494669796866]
  ビデオから指情報を自動的に抽出するAIタスクについて検討する。 ディープラーニングモジュールの組み合わせを用いて,このタスクを高精度に実行する方法を示す。 結果、90本の動画でシステムを実行し、高品質のピアノ指で150Kの音符を入力します。
  論文  参考訳（メタデータ） (2023-03-07T09:09:13Z)
• Optimizing piano practice with a utility-based scaffold [59.821144959060305]
  ピアノを弾くための学習の典型的な部分は、スキルの個々の次元に焦点を当てた一連の練習ユニットによる進歩である。 私たちはそれぞれ異なる学習をしており、ピアノの練習タスクやメソッドには選択肢がたくさんあるので、練習タスクのセットは人間の学習者に動的に適応すべきである。 本稿では,人間の学習者を学習プロセスを通じて指導する上で,最も期待されている実用性を持つ実践モードを選択することによって,学習者の指導を行うためのモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T14:05:00Z)
• RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement Learning [69.20460466735852]
  本稿では,オンライン伴奏生成のための深層強化学習アルゴリズムを提案する。 提案アルゴリズムは人体に応答し,メロディック,ハーモニック,多種多様な機械部品を生成する。
  論文  参考訳（メタデータ） (2020-02-08T03:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。