論文の概要: Towards Learning to Play Piano with Dexterous Hands and Touch
- arxiv url: http://arxiv.org/abs/2106.02040v1
- Date: Thu, 3 Jun 2021 17:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 12:14:32.901926
- Title: Towards Learning to Play Piano with Dexterous Hands and Touch
- Title(参考訳): 器用な手と触覚でピアノを弾くことを学ぶ
- Authors: Huazhe Xu, Yuping Luo, Shaoxiong Wang, Trevor Darrell, Roberto
Calandra
- Abstract要約: そこで我々は,エージェントが機械可読音楽から直接学習して,模擬ピアノで器用な手でピアノを弾く方法を示した。
我々は、タッチ強化された報酬と、新しいタスクのカリキュラムを使用することで、これを実現する。
- 参考スコア(独自算出の注目度): 79.48656721563795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The virtuoso plays the piano with passion, poetry and extraordinary technical
ability. As Liszt said (a virtuoso)must call up scent and blossom, and breathe
the breath of life. The strongest robots that can play a piano are based on a
combination of specialized robot hands/piano and hardcoded planning algorithms.
In contrast to that, in this paper, we demonstrate how an agent can learn
directly from machine-readable music score to play the piano with dexterous
hands on a simulated piano using reinforcement learning (RL) from scratch. We
demonstrate the RL agents can not only find the correct key position but also
deal with various rhythmic, volume and fingering, requirements. We achieve this
by using a touch-augmented reward and a novel curriculum of tasks. We conclude
by carefully studying the important aspects to enable such learning algorithms
and that can potentially shed light on future research in this direction.
- Abstract(参考訳): ヴィルトゥオーソは情熱と詩と並外れた技術的能力でピアノを弾く。
リストが言ったように(ヴィルトゥオーソ)、香りと花を呼び起こし、息を吸う。
ピアノを弾ける最強のロボットは、特殊なロボットの手/ピアノとハードコードされた計画アルゴリズムの組み合わせに基づいている。
これとは対照的に,本論文では,エージェントが機械可読音楽から直接学習し,ピアノをシミュレートピアノでデクタラスハンドで演奏する方法を,強化学習(rl)をスクラッチから示す。
我々はRLエージェントが正しいキー位置を見つけるだけでなく、様々なリズミカル、ボリューム、フィンガーグの要求に対処できることを示した。
我々は,タッチによる報酬と新しいタスクカリキュラムを用いてこれを実現する。
我々は,このような学習アルゴリズムを実現するために重要な側面を慎重に研究することで,今後の研究に光を当てることができると結論付けた。
関連論文リスト
- RoboPianist: Dexterous Piano Playing with Deep Reinforcement Learning [61.10744686260994]
本稿では,150曲のピアノ作品の大規模なレパートリーをシミュレートして学習するシステムであるRoboPianistを紹介する。
また,オープンソース環境,タスクのベンチマーク,解釈可能な評価指標,今後の研究課題についても紹介する。
論文 参考訳(メタデータ) (2023-04-09T03:53:05Z) - At Your Fingertips: Extracting Piano Fingering Instructions from Videos [45.643494669796866]
ビデオから指情報を自動的に抽出するAIタスクについて検討する。
ディープラーニングモジュールの組み合わせを用いて,このタスクを高精度に実行する方法を示す。
結果、90本の動画でシステムを実行し、高品質のピアノ指で150Kの音符を入力します。
論文 参考訳(メタデータ) (2023-03-07T09:09:13Z) - Visual motion analysis of the player's finger [3.299672391663527]
この研究は、ビデオシーケンスからキーボード奏者の3つの調律で指の動きを抽出することに関するものである。
この問題の関連性にはいくつかの側面があり、実際、指の動きの抽出はキーストロークの効率と個々の関節の寄与を計算するために用いられる。
論文 参考訳(メタデータ) (2023-02-24T10:14:13Z) - Optimizing piano practice with a utility-based scaffold [59.821144959060305]
ピアノを弾くための学習の典型的な部分は、スキルの個々の次元に焦点を当てた一連の練習ユニットによる進歩である。
私たちはそれぞれ異なる学習をしており、ピアノの練習タスクやメソッドには選択肢がたくさんあるので、練習タスクのセットは人間の学習者に動的に適応すべきである。
本稿では,人間の学習者を学習プロセスを通じて指導する上で,最も期待されている実用性を持つ実践モードを選択することによって,学習者の指導を行うためのモデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-21T14:05:00Z) - Dance Revolution: Long-Term Dance Generation with Music via Curriculum
Learning [55.854205371307884]
音楽条件付きダンス生成をシーケンス・ツー・シーケンスの学習問題として定式化する。
本稿では,長動き列生成における自己回帰モデルの誤り蓄積を軽減するための新しいカリキュラム学習戦略を提案する。
提案手法は,自動計測と人的評価において,既存の最先端技術よりも大幅に優れている。
論文 参考訳(メタデータ) (2020-06-11T00:08:25Z) - RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement
Learning [69.20460466735852]
本稿では,オンライン伴奏生成のための深層強化学習アルゴリズムを提案する。
提案アルゴリズムは人体に応答し,メロディック,ハーモニック,多種多様な機械部品を生成する。
論文 参考訳(メタデータ) (2020-02-08T03:53:52Z) - Machine Learning for a Music Glove Instrument [0.0]
感圧性、フレキシブル、IMUセンサーを備えた音楽グローブ楽器は、電気ピアノで音符シーケンスを学習するために訓練される。
グローブは任意の表面に使われ、手の動きに最も近い音符列を生成する。
論文 参考訳(メタデータ) (2020-01-27T01:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。